# EPFL-Smart-Kitchen-30：包含3D运动学数据的密集标注烹饪数据集，可用于挑战视频与语言模型 Andy Bonnetto $^{1,*}$、Haozhe Qi $^{1,*}$、Franklin Leong $^{1}$、Matea Tashkovska $^{1}$、Mahdi Rad $^{2}$、Solaiman Shokur$^{1,3}$、Friedhelm Hummel$^{1,4,5}$ Silvestro Micera$^{1,3}$ Marc Pollefeys$^{2,6}$、Alexander Mathis$^{1,\boxtimes}$ 1：洛桑联邦理工学院（EPFL），洛桑；2：微软；3：比萨圣安娜高等学院 4：瑞士瓦莱州联邦理工学院（EPFL Valais）、罗曼德康复诊所，锡永 5：日内瓦大学医学院，日内瓦；6：苏黎世联邦理工学院（ETH），苏黎世 *：贡献相同 ✉： 要理解人类行为，就需要能够捕捉人类执行复杂任务过程的数据集。厨房是评估人类运动与认知功能的绝佳环境，因为从切菜到清洁，许多复杂动作都会在厨房中自然发生。在此，我们介绍EPFL-Smart-Kitchen-30数据集，该数据集是在厨房环境中通过非侵入式动作捕捉平台采集的。研究使用了9台静态RGB-D摄像头、惯性测量单元（IMU）以及一台头戴式HoloLens 2设备，来捕捉手部、身体和眼部的3D运动数据。EPFL-Smart-Kitchen-30数据集是一个多视角动作数据集，包含了外置视角、内置视角、深度信息、IMU数据、视线轨迹、身体及手部运动学数据，涵盖了16名受试者烹饪4种不同食谱的共29.7小时录像。动作序列被密集标注，每分钟包含33.78个动作片段。利用这一多模态数据集，我们提出了四项基准测试，以推动行为理解与建模的发展：1）视觉-语言基准测试；2）语义文本转动作生成基准测试；3）多模态动作识别基准测试；4）基于姿态的动作分割基准测试。我们希望EPFL-Smart-Kitchen-30数据集能为开发更优的方法、深入理解生态效度高的人类行为本质提供助力。代码和数据可在获取。 ## 1 引言 理解人类行为在多个领域都具有重要意义——从增强现实$^{[1]}$和机器人技术$^{[2]}$，到神经科学$^{[3,4]}$与神经工程学$^{[5]}$。尽管我们在通过动作识别$^{[6-9]}$、动作分割$^{[10-13]}$以及运动生成$^{[14-16]}$来分析行为方面取得了显著进展，但仍存在关键性缺口。当前的数据集面临着碎片化问题（表1）。现有数据集虽然在行为捕捉的某些方面表现出色，却缺乏整合性。有些数据集在全身三维姿态估计方面表现突出，但对于复杂动作的手部追踪能力不足；另一些数据集虽能提供详细的手指关节数据，却局限于受限环境，无法涵盖包括全局位置在内的完整身体上下文。此外，部分数据集未能捕捉自然行为中的两个关键要素：有目的性的动作和眼动。人类动作本质上具有目的性，且受视觉注意力的引导$^{[17]}$，然而大多数现有数据集并未纳入这些元素，导致对行为的表征并不完整。目前尚缺包含手部与眼部追踪、同步多视角视频以及详细分层动作标注的全面性全身数据集，这严重制约了我们对自然人类行为的分析能力$^{[3,13,17]}$。 我们推出了EPFL-Smart-Kitchen-30数据集，该数据集能在真实的烹饪场景中以前所未有的多模态方式捕捉人类行为。它通过十个同步摄像头视角提供了以自我为中心和以外部为中心的双重视角，能够出色地呈现自然的烹饪行为。EPFL-Smart-Kitchen-30包含多种模态数据：RGB图像、深度图像、惯性测量单元数据、视线数据以及三维手部/身体姿态（图1A-B）。与其他数据集相比，EPFL-Smart-Kitchen-30优势明显（表1），有望推动多模态细粒度动作理解的发展。其规模十分可观：来自16名参与者的49次完整烹饪过程共产生29.7小时的多视角、多模态记录，涵盖从阅读食谱到清理的全过程。该数据集定义了763种细粒度动作，确保了密集且分层的动作标注以及明确的动作定义。这些会话被细致标注，共得到55,361个细粒度动作片段和4,828个粗粒度活动片段——平均每分钟约33个动作。 借助这些标注数据，我们构建了四个用于动作理解与建模的基准测试（图1C）。首先，我们提出了Lemonade方法，该方法将我们的真实标注和姿态估计转化为具有挑战性的封闭式问答对（QA）。这一基准测试专门用于检验视频语言模型（VLM）的行为理解能力。其次和第三，我们提出了涵盖多种模态的动作识别与分割基准测试，旨在为程序性人类行为的研究提供实证依据。 --- ![Image](images/0235193966e73d09543d7e36a2ca10ca2010c672d522d0f0a1bbe7cf5a1ae3a2.jpg)
Figure 1. The EPFL-Smart Kitchen-30, dataset and benchmarks. (A) Collected data. 3D kitchen reconstruction, purple points are fixed RGB-D cameras. Subjects cook with a HoloLens 2 headset recording both egocentric videos and eye gaze. (B) Extracted data. 3D body and hand poses are extracted from multiple data sources. Fine-grained and coarse-grained action segments are densely annotated. (C) Benchmarks. We propose four benchmarks based on the EPFL-Smart-Kitchen-30 dataset. A Visual question answering benchmark, an action segmentation benchmark, an action recognition benchmark and a full-body motion generation benchmark.
第四，我们提出了一种全身运动生成基准测试，它凸显了EPFL-Smart-Kitchen-30在生成任务中的独特价值，证明了我们的集成数据方法能够实现更自然且符合语境的运动合成。总而言之，我们的贡献如下（图1）： • 我们从自我与外部视角捕捉了30小时的有目的性烹饪行为。 • 我们对细粒度动作和粗粒度活动进行了密集标注。 - 我们提出了多模态行为理解（动作识别、分割及视觉语言问答）与建模基准测试。 这些研究成果共同解决了行为分析中的碎片化问题，为研究界提供了理解综合且富含语境的人类行为的新途径。 ## 2 相关工作 ### 2.1 人类行为数据集 目前已提出许多数据集，用于记录参与者执行有目的的动作的情况[^25] [^32] [^33]；EgoExo-Fitness[^23]和FLAG3D[^34]等数据集进一步将范围扩展至健身活动，涵盖了更复杂的人体动作。传统的动作捕捉方法侧重于孤立的动作，虽然可控性较高，但却牺牲了关键的语境信息。近期的研究转向在自然环境中记录行为，从而能够探究真实的人类活动所具备的过渡模式和序列特征。具体而言，绝对定位能够确定智能体的空间位置，有助于分析其与环境的互动情况[^31]。基于装配的数据集则用于收集结构化的物体交互数据[^19] [^22] [^28] [^35]；由于涉及更多种类的动作和自然环境，烹饪领域正逐渐成为构建动作数据集的热门方向，例如EPIC-KITCHENS-100[^20]、Humans in kitchens[^36]，或是大型数据集EgoExo4D[^21]中的某些序列。EPFL-Smart-kitchen-30的密集标注功能适合用于描述身体和手部动作的过渡特征，其动作描述清晰且丰富，独具特色（见表1）。 ---
DatasetsTotal hoursDuration (min)# segmentsSeg. per min# action classes# Ego/ ExoBody PMHand PMEye GazeSAMLDRAP
Video-focusedMeccano [^18]6.920.78,85721.4610/1✗✗✓✓✓✓✗
IKEAASM [^19]11.71.917,5778.4330/3✗✗✗✓✓✓✓
EPIC-100 [^20]100.08.689,97715.04,0531/0✗✗✗✓✓✗✗
EgoExo4D [^21]18015.320,4064.56891/4-5✗✗✓✓✓✗✗
HoloAssist [^22]166.04.5184,83818.61,8871/0✗✗✓✓✓✓✓
EgoExo-Fitness [^23]321.56,1314120/4✗✗✗✓✓✗✗
Motion-focusedAMASS [^24]430.2211,4510.22--✓✓✗✗✗✗✗
BABEL [^25]430.3928,00010.7250-✓✗✗✓✗✗✗
HumanML3D [^26]28.60.1214,6168.5--✓✗✗✗✗✗✗
HumanAct12 [^27]--1,191-34-✓✗✗✓✓✓✗
Video-motion focusedAssembly101 [^28]41.87.184,46033.11,3804/8✗✗✗✓✓✗✓
H2O [^29]5.50.331,0003.0361/4✗✓✗✓✓✓✗
MotionX [^30]1440.1181,1009.4-0/1✓✓✗✗✓✗✗
Nymeria [^31]30015---1/1✓✗✓✗✗✗✓
EPFL-Smart-Kitchen-3029.735.960,18933.787681/9✓✓✓✓✓✓✓
Table 1. Action dataset comparison. # indicates "number of" for simplicity. The remaining columns mark following features: parametric model for motion representation (PM), structured actions (SA), markerless video recording (ML), depth recording (DR), and absolute positioning (AP). Note: EgoExo4D [^21] reports 1422h by summing per camera recording time, where the total activity is 180h, yet only 88.8h annotated with MSCOCO keypoints (numbers from [^31]).
语言能够灵活地描述行为，而视觉语言模型有望捕捉到这种丰富性。人们已经通过MVBench[^37]和Video-MME[^38]等全面的基准测试对视觉语言模型的一般视频理解能力进行了评估。随后又针对长期理解[^39] [^40]和第一视角视频理解[^40] [^41]等特定挑战开展了相关研究。在行为理解方面，ActivityNet-QA[^42]和NExT-QA[^43]用于评估视觉语言模型的因果推理和时间推理能力。尽管某些基准测试的子集[^37] [^39] [^44]中包含与动作相关的问题，但它们主要侧重于事件层面的行为理解。EPFL-Smart-Kitchen-30则提供了一种截然不同的思路。我们推出的Lemonade基准测试包含了专门用于探究人类对运动学及细粒度行为细节理解程度的问题，这是以往的数据集无法做到的。借助我们的多模态数据整合技术，我们能够评估模型在推理身体运动和手-物交互方面的能力（见图4）。 ### 2.2 行为理解模型 预测运动模式的能力为理解行为提供了一种有价值的方法。运动数据可以通过多种形式获取，包括视频记录、姿态估计数据和惯性测量单元（IMU）记录。深度学习模型的进步以及计算能力的提升，促成了许多多视角、多模态动作理解算法的发展 [^45] [^46] [^47] [^48] [^49] [^50]。Shah等人 [^45] 利用对比学习来对齐不同视角的特征空间。Wang等人 [^46] 采用对抗生成网络来约束RGB与深度模态信息。HandFormer [^50] 将3D手部姿态与RGB帧结合用于动作识别。LaViLa [^47] 从预训练的大型语言模型中学习视频表征。TIM [^48] 设计了时间间隔编码以整合视觉与音频事件。尽管取得了进展，但当前方法在视角和模态方面仍有限制，部分原因是缺乏大规模的多视角、多模态动作数据集。借助我们构建的EPFL-SmartKitchen-30数据集，我们建立了多视角、多模态动作理解基准，该基准以外部视角视频、第一人称视角视频、全身姿态估计以及眼动数据作为输入，同时也可纳入深度视频和IMU记录。 理解行为的另一种途径是通过生成目标行为的运动。近年来，文本到运动生成技术受到了广泛关注 [14–16, 51–54]。我们提出了一种新颖的语义文本到运动生成基准，该基准考虑了包含眼动信息的全身姿态表征，用于情境化运动生成。这与常用的KIT [^55] 和HumanML3D [^26] 形成对比，后者并未纳入手部模型或眼动信息。 通过整合语言，视觉语言模型（VLM）为理解行为提供了更灵活的方式。VideoLLaMA3 [^56] 凭借其动态分辨率机制和先进的位置嵌入策略，能够捕捉视频中的细微细节与时间动态；而Qwen2.5-VL [^57] 和InternVL2.5 [^58] 则能更好地整合多模态输入。诸如长期视频理解之类的特定任务通常依赖于视频压缩 [59–62] 或扩展上下文长度 [63–66]。我们通过提出一个利用行为背景与运动学信息的基准测试，来挑战这些模型超越其常规性能表现。 ## 3 EPFL-Smart-Kitchen-30 在此我们介绍EPFL-Smart-Kitchen-30数据集，该数据集包含了人类烹饪过程的多视角、多模态数据，并附有细粒度和粗粒度动作标注（图1B）。我们将描述实验设置（第3.1节）以及数据收集流程（第3.2节）。 --- ![Image](images/26ebefa86ce4428be127033782ab3a376732eccb6eb9afcf1c9958924b9e2506.jpg) ![Image](images/2d144b696eaf435f4228734fa5816c9eb56e4872f3458801056687807d41efe6.jpg)
Figure 2. Full-body 3D pose estimation (A) Pipeline for 3D pose estimation (B) Poses and camera positions are defined relative to a global coordinate system comparable in the same environment. We illustrate several reprojected 3D poses on camera 6. (C) Characterization of right-hand poses to show the captured kinematic diversity: (Top) examples of hand poses for four actions, (Bottom) Number of principal components necessary to capture the right-hand poses during cooking for the Exo-Hand in each recipe, around 14 degrees of freedom (DoF) are necessary to explain 95% of the variance.
随后，我们将阐述3D姿态回归方法（第3.3节），并详细说明动作标注的特点（第3.4节）。 ### 3.1 EPFL-Smart-Kitchen实验设置 采集多视角、多模态数据是一项具有挑战性的任务，需要同步并校准多个传感器。为了捕捉自然的烹饪行为，我们搭建了EPFL-Smart-Kitchen——一个配备齐全的厨房，内有各种厨具和器皿。我们为受试者提供了锅、平底锅及其他厨具等烹饪材料，还有制作食谱所需的食材和调料（详见补充材料）。 为了在采集多模态信息的同时尽可能不影响受试者的自然动作，我们在厨房内的关键位置安装了九台Microsoft Kinect Azure RGB-D摄像头[^67]，其中四台用于捕捉全局外视角画面，五台用于捕捉局部外视角画面（操作台、炉灶和水槽，详见图1A）。此外，我们还在常用设备上安装了八个IMU传感器（如冰箱门、五个橱柜门、刀具和锅铲）。受试者佩戴的是HoloLens 2头戴设备[^68]，这是一种混合现实头戴设备，可在全局校准下捕捉自我中心视角画面及眼动数据。我们通过音频信号和触发器同步所有设备，并对所有摄像头进行了校准（详见补充材料）。 ### 3.2 数据采集流程 为了捕捉真实的烹饪场景，受试者需从阅读食谱到清理收尾全程完成一顿餐食的制作，因此记录时长明显长于大多数现有的动作数据集（见表1）。我们招募了16名受试者（4名男性，12名女性，其中2人为左撇子，年龄20-46岁）在EPFL-Smart-Kitchen中最多进行五次烹饪实验（详见补充材料）。每次实验中，受试者需按照四种不同食谱之一进行烹饪（煎蛋卷、泰式炒河粉、意大利烩饭、普罗旺斯炖菜），这些食谱是根据他们的偏好和需求定制的。总体而言，我们记录并处理了29.7小时的烹饪实验数据，相当于49次烹饪实验中每台摄像头拍摄的3,207,600帧画面。所有实验流程均获得了EPFL伦理委员会的批准。为解决隐私问题，所有视频中的受试者面部均经过匿名化处理。所有受试者均已知情同意相关伦理事项（详见补充材料）。 ### 3.3 三维动作估计 我们布置相机，使参与者的身体和双手至少能从三个角度被观察到。四台相机捕捉全局身体信息，而五台相机捕捉局部手部信息。利用多视角 RGB-D 视频，我们使用全部 10 个相机视角进行身体/手部网格拟合与跟踪，并借助现有姿态估计工具从每个视角提取 2D 和 3D 姿态信息。具体而言，我们使用 RTMPose [^69]（可在 DeepLabCut v3 [^70] 中获得）提取 2D 身体与手部姿态，使用 Kinect body tracking SDK [^71] 提取 3D 身体姿态和 tracklets，并使用 HoloLens 2 hand tracking toolkit [^72] 提取 3D 手部姿态。我们将 2D 姿态提升为 3D 姿态，并通过最小化 3D 关节、2D 重投影、时间平滑和正则化损失以及手部 3D 关节损失来拟合 SMPL [^73] 身体网格，从而拟合 MANO 手部网格 [^74]（图 2A 和补充材料）。与三角化手动标注的 2D 姿态相比，身体和手部的平均绝对误差分别为 $6.22em \pm 5.16cm$ 和 $3.30em \pm 5.12cm$，我们的误差幅度与 [^21] [^29] 相当（补充材料）。 为了展示所采集动作数据的丰富性（见图2B-C），我们依据神经科学领域的常用方法[75–77]估算了姿态空间中自由度的数量（运动协同性）。我们发现该数据集呈现出大量的自由度（见图2C），这预示着其在人类行为研究中的巨大潜力。 --- ### 3.4 细粒度动作与粗粒度活动的标注 这些带注释的动作类别是基于以下考虑来定义的。首先，许多当代数据集（例如，[^20]、[^22]）往往允许标注者自由描述动作，之后再根据动作相似性对动作进行事后归类。这可能导致相似动作有不同的名称（例如“倒”和“灌入”[^20]），进而产生歧义。因此，我们精心挑选了一组动词和名词，并在标注时考虑了动作之间的时间重叠情况。例如，在标注“切番茄”这一动作时，我们也会标注“持刀”动作，甚至可能标注“拿番茄”动作。这种做法能够丰富特定时间点的标注信息，试图减少歧义。基于上述理由，我们定义了33个动词和79个名词，它们共同构成了763种细粒度动作。每个动词都配有基于规则的描述，旨在避免混淆（详见图3A和补充材料中的示例）。在标注过程中，我们要求标注者观看视频并标注动作的起始和结束时间。为了定义每个动作的行为语境，我们标注了六种粗粒度的互斥活动，共计4,828个片段。因此，行为是以分层方式标注的[^13]、[^78]、[^79]。 标注的质量和可靠性是按照补充材料中所列的协议进行验证的。总共标注了60,189个动作片段，相当于每分钟33.78个动作片段（见图3B）。动作标注的丰富性体现在动作长度的多样性上（从1秒到100秒不等，见图3C）。总体而言，不同的视角和模态从不同方面促进了细粒度动作的理解：1）RGB帧侧重于粗粒度信息，而深度帧则更关注几何特征；2）以佩戴者为中心的视角以及从HoloLens 2采集的眼动数据，与受试者所看到的内容相关（或部分相关）；3）全局的外视角和身体姿态捕捉反映了整体语境；4）局部的外视角、手部姿态以及工具的惯性测量单元数据，则能捕捉细粒度的动作以及手与物体的交互情况。 ## 4 多模态动作与运动理解基准测试 烹饪涉及多种按目标导向顺序排列的动作，最终才能做出美味的菜肴。在每次实验环节中，受试者会从阅读食谱、准备食材开始，到制作菜肴，最后进行清理。为了推进对这类复杂人类行为的分析，我们创建了四个行为理解基准测试（见图1C）。其中两个基准测试聚焦于多模态行为分析：动作识别和动作分割。这两个基准测试还辅以全身行为合成基准测试（运动生成）。此外，我们还设计了问答基准测试（Lemonade）来理解人类的烹饪行为。Lemonade基准测试是为零样本评估而设计的。对于其他基准测试，我们将实验环节划分为训练集、验证集和测试集。训练集/验证集由26/7个实验环节组成，这样既能确保每种食谱都出现在验证集中，又能平衡两个集合中罕见动作片段的数量。测试集包含16个实验环节，其中还包括新的受试者（详见补充材料）。用于基准测试的精选数据集排除了实例数少于3的动作，该数据集包含31个动词、78个名词和581个动作，以及六种活动。 ### 4.1 Lemonade：基于运动和动作驱动查询的语言模型评估 理由：视频语言模型（VLMs）在理解人类行为方面展现出巨大潜力[59, 80–82]。它们引发了有趣的问题：它们能否准确预测行为序列中先前或随后的动作？仅凭少量帧，它们就能推断出长期行为模式吗？此外，凭借其通用知识，它们能否仅从视频数据中精确估算距离和速度呢？EPFL-Smart-Kitchen-30为探索这些关于机器如何理解自然人类行为的基本问题提供了理想的测试平台（图4A）。因此，我们推出了Lemonade：语言模型对运动与动作驱动查询的评估。Lemonade包含36,521组封闭式问答对，这些问答对与第一人称视角视频片段相关联，分为三组六个子类别（图4B）。其中，18,857组问答聚焦于行为理解，利用EPFL-Smart Kitchen中丰富的行为标注真值来询问模型对感知到的动作的认知（感知）以及对未见行为的推理能力（推理）。8,210组问答涉及较长的视频片段，用于测试模型的摘要生成能力（摘要生成）以及会话级推理能力（会话属性）。剩下的9,463组问答则利用3D姿态估计数据，从视觉信息中推断手部形状、关节角度（物理属性）或轨迹速度（运动学）。Lemonade框架（图4B）通过组合不同的视频片段、问题格式和答案类型，能够生成数百万个独特的问答对。更多关于问答设计的示例和细节可在补充材料中找到。 基准模型与评估指标：基于其他近期基准测试中的最先进结果[^83]，我们评估了三种开源和一种闭源的视频语言模型最先进模型，即InternVL2.5 [^58]、LLaVA-OneVision [^59]、Qwen2.5-VL [^57]以及Gemini 2.0 Flash [^84]。为确保评估的一致性并便于未来比较，所有模型均使用lmms-eval [^81]进行评估，其中Lemonade被设为新的评估任务。为了解读评估结果，我们手动回答了1,662个问题。按照问答任务的常规做法，我们以平均准确率来评估模型性能[^37] [^38] [^42] [^43]。 结果：不同的视频语言模型在识别正在进行的动作和活动，以及预测紧接着的下一个和前一个动作方面均取得了较高的准确率。然而，Lemonade揭示了视频语言模型在预测一般上下文信息、距离、时间和身体运动学方面的关键局限性（图4C）。仅靠视觉输入和语言信息，不足以实现这些精确的运动学估算，因为这需要准确的帧时序和深度参考数据。为克服这些挑战，未来的模型或许可以从显式整合额外模态中受益，而多模态语言模型正使这成为可能[^85] [^86]。 --- ![Image](images/cc21cf00fc23568fd3cf2d59758ded73c2b5e1eb29bbf336db11cfb84c46859d.jpg)
B
Figure 3. Hierarchical action annotations: (A) List of verbs, nouns and activities used for action annotation, each action (verbs) is specifically defined as shown for "Hold". (B) Statistics of annotation segments for fine-grained actions. (C) Example ethogram with selected egocentric frame to illustrate the richness of the actions (turquoise) and activity (pink) annotations comprising short and long segments that can overlap.
A
![Image](images/70201ac80a03efab1fc7396ca2787712304241cbae0a516709c2511ceb526236.jpg) ![Image](images/e5899a75d82a68835dbc10d126f23237823420769313ab797d957987555fad3c.jpg)
C
ModelsPerc.Reas.Sess.Summ.Phys.Kin.All.
Human62.3252.3862.3844.4070.7838.3454.75
Gemini-2.0-Flash41.4741.0349.1035.0940.2621.6937.39
LLaVa-OneVision47.2341.4636.7641.8734.0334.0940.85
InternVL2 5-8B43.9441.5245.7633.8039.8927.7438.70
Qwen2.5-VL-32B (4fr.)43.7245.8746.2542.7532.2228.5240.67
Qwen2.5-VL-7B42.8643.5848.1437.6638.9325.6439.30
Figure 4. Lemonade: (A) Examples of video question pairs for each category. More examples in Supp. Mat. (B) Questions are designed from ground truth annotations. We also show the distribution of questions per subcategory. (C) Accuracy of VLMs (8 frames) on the lemonade benchmark per category; chance level is 25%. Detailed results in Supp. Mat.
### 4.2 动作识别基准测试 理由：给定经过裁剪的动作片段，动作识别模型需要预测对应的动作类别[6–9]。我们针对763个具有长尾分布特征的类别构建了细粒度动作识别基准测试，并允许输入不同类型的数据。具体而言，我们设计了灵活的掩码自编码基准模型，以第一人称视角、外部视角、3D人体姿态、3D手部姿态以及视线方向作为输入，并对这些数据源的不同组合进行了对比分析。 基准线与评估指标。我们将VideoMAE [^8] [^79]模型改造为多模态MAE，使其能够接收多视角视频、3D姿态和视线数据作为输入（详见补充材料）。与其他研究类似，我们通过动词、物体和动作类别的Top-1及Top-5准确率来评估模型性能 [^22] [^28]。考虑到不同动作的样本数量呈长尾分布，我们选取了出现频率最高的180种动作作为头部动作，并分别报告头部动作与尾部动作的性能表现。 实验结果。将所有模态数据简单拼接后作为输入，其性能略优于仅使用视频模态的情况（见表2）。同时，从在EPIC-KITCHENS-100数据集上训练的ViT模型进行迁移学习 [^20]，能够提升基于视觉输入的基准模型的性能，却会降低仅使用姿态数据的模型性能。此外，将（手部与身体）姿态信息加入基于视频的模型中可提升整体性能，这主要得益于动词预测能力的改善。然而，仅仅拼接不同模态的标记 ---
ModalitiesAll Classes Accuracy Top1/5Head Classes Accuracy Top1/5Tail Classes Accuracy Top1/5
ActionVerbNounActionVerbNounActionVerbNoun
☑37.51/62.9457.72/92.1852.03/79.0541.12/67.0059.74/93.3655.62/82.1116.64/39.5146.06/85.3531.27/61.38
☑37.87/63.5658.90/93.5952.56/79.6441.55/67.6760.56/94.6656.43/82.8416.66/39.8549.28/87.4430.19/61.11
☑37.57/63.1358.38/92.9252.29/78.4541.14/67.3160.43/93.9055.90/81.6216.97/39.0046.54/87.2431.46/60.15
☑11.80/25.4938.67/78.8019.83/42.2313.55/28.7739.87/80.6522.31/46.291.70/6.5731.77/68.155.49/18.79
☑38.31/64.7560.41/93.7852.51/79.9141.83/68.8961.96/94.7956.27/83.1417.97/40.9051.45/87.9430.81/61.27
☑37.35/62.3460.78/93.0450.58/77.3040.91/66.0562.20/93.9254.15/80.4816.85/40.9752.55/87.9430.02/58.99
☑37.49/62.7661.04/93.5950.94/77.5241.09/66.5062.53/94.5154.75/80.5716.66/41.2152.42/88.2928.95/59.91
☑40.03/67.0160.80/94.6555.38/82.5843.60/71.2562.60/95.7659.00/85.6219.44/42.5250.41/88.2534.48/65.02
Table 2. Fine-grained action recognition benchmark results from pretrained model. 📧: egocentric view, 🔍: global exocentric view, 🌐: 3D body pose, 📷: 3D hand pose, 🌍: eye gaze, ✪(🕒×multiple 🔍): hand cropped videos. Combining modalities has the potential to increase the performance. Our best results are achieved by cleverly merging these modalities together.
VerbsNounsActivity
𝑥𝑒🕒𝑥🕒𝑒🕒𝑒🕒𝑥🕒🕒🕒𝑥🕒𝑒🕒𝑥🕒🕒𝑥🕒𝑒🕒𝑒🕒
MS-TCN318.120.211.720.921.130.110.613.47.615.611.331.251.858.631.954.458.572.9
C2F-TCN $^{*}$18.820.112.222.122.234.612.014.37.916.110.835.254.555.441.361.861.272.2
C2F-Transf.19.922.413.122.822.235.011.112.97.813.49.229.051.256.938.862.159.970.5
EDTCN $^{*}$19.623.011.922.125.234.311.911.27.112.311.924.349.053.532.053.154.271.0
Table 3. F1 scores for action segmentation benchmark. 👤: 3D body pose, 👤: 3D hand pose, 👤: eye gaze, 👤: egocentric view. *models modified to use pose as input data instead of image features.
几乎无法提升性能。为了在不显著增加计算成本的前提下高效利用多种模态，我们整合了自我中心视角、多外部视角以及手部姿态数据（✪✚）（详见补充材料），使得从零开始训练时性能提升了21.6%（详见补充材料），而从预训练模型继续训练时性能也提升了6.3%，均优于仅使用自我中心视角数据的模型。总体而言，我们希望这一基准测试能激励学界开发出能够有效利用多种模态的模型。 ### 4.3 动作分割基准测试 设计思路。对于未裁剪的视频，动作分割要求模型为每一帧预测一个或多个动作类别[10–13]。由于目前缺乏基于3D姿态数据的热门且全面的动作分割基准测试（见第2节），我们构建了这一动作分割基准测试，用以比较不同输入数据（身体、手部、眼睛、视频特征）的影响。人们可能会认为，在厨房中的移动等动作更适合通过身体数据来预测，而切割等动作则需要手部姿态关键点。因此，我们使用身体姿态（🍺）、手部姿态（🍊）和视线数据（🌞）的组合作为输入，因为它们比深层视觉特征更高效。我们还比较了以VideoMAE的视频特征作为输入时的性能。 基准线与评估指标。我们考虑了基于RGB的动作分割任务中的最先进模型（Breakfast [^87]和50Salads [^88]），并将这些架构改造为可直接处理姿态估计数据（而非深层视觉特征）：MS-TCN++ [^89]、EDTCN [^90]和C2F-TCN [^91]。基于这些模型，我们又改造了已在姿态估计数据上优化过的架构：MS-TCN3和C2F-Transformer。我们将运动学特征与VideoMAE [^8]特征作为输入提供给模型（详见补充材料）。每个动作均使用动作分割领域的标准指标（逐帧F1值、F1@50、编辑距离）单独评估，最终再对动作组取平均值。 实验结果。我们发现该基准测试对当前的动作分割算法而言颇具挑战性（见表3及补充材料）。Exo-Body的性能与Exo-Hand相近，尽管Exo-Hand在部分行为上的表现略有优势（详见补充材料）。我们注意到视频信息能显著提升性能。这些基准模型的动词F1分数达到35.2%，名词F1分数为35.0%，显示出未来进一步发展的巨大潜力。 ### 4.4 情境化全身运动生成基准测试 理由：EPFL-Smart-Kitchen-30包含多种多样的动作和运动，相较于常用的KIT [^55]和HumanML3D [^26]基准测试，我们的运动生成基准测试有三个关键创新点。现有的运动生成基准测试主要聚焦于日常活动、体育运动和舞蹈，而EPFL-Smart-Kitchen-30则包含了数百种细粒度的行为。我们将运动生成的范围从身体扩展到手部和视线，将其定义为全身运动生成。此外，我们还提供了以动作文本为条件的自我中心视觉特征，从而实现情境化的运动生成。 预处理、基线和评估指标：为了实现鲁棒的全身运动表征，我们结合了身体、手部和视线的关节位置与角度信息，最终得到维度为327的冗余运动表征。我们使用语言标签对细粒度的动作文本进行处理，并利用CLIP的文本和图像编码器提取自我中心视觉特征 [^92]。 --- ![Image](images/9fa44abdde63e7aec7c1f71afafa7bb2c94040235e31b8a64873abfb7ea75d43.jpg)
Figure 5. Qualitative motion generation samples from MoMask trained with Verb-Noun action pairs. The model creates realistic hand, body and eye gaze (dashed line).
ConditionVocab.ModelT1 $\uparrow$T2 $\uparrow$T3 $\uparrow$FID $\downarrow$DIV $\uparrow$MM $\uparrow$MMd $\downarrow$
TextVerbT2M-GPT0.2540.4320.5672.6407.2881.5553.379
MARDM-SiT0.2620.4730.6372.2427.5901.8494.155
Momask0.3060.5080.6523.1248.3472.9402.048
ActionsT2M-GPT0.2710.4340.5422.3787.0310.8524.015
MARDM-SiT0.3200.5480.6501.2307.7041.4274.103
Momask0.3720.5660.6830.9307.8591.6413.407
Text-ImageVerbT2M-GPT0.1740.2950.3872.4156.5580.8224.524
MARDM-SiT0.1870.3550.4661.4986.5791.5814.691
Momask0.1970.3330.4360.8586.6961.6654.121
ActionsT2M-GPT0.2430.3980.5061.9826.6330.7174.125
MARDM-SiT0.2550.4690.5970.9177.1761.3224.725
Momask0.2760.4410.5520.6277.1411.5543.937
Table 4. Full-body motion generation results. Models trained and evaluated on the EPFL-Smart-Kitchen-30. FID:Fréchet Inception Distance, DIV:Diversity, MM:Multimodality, MMD:Multimodal distance.
作为基线，我们选用了三种性能优异的运动生成模型：T2M-GPT [^15]、MARDM-SiT [^93]和MoMask [^16]，使用动词-名词配对以及仅含动词的提示词对它们进行训练（详见补充材料）。与HumanML3D [^26]中的做法类似，我们在EPFL-Smart-Kitchen-30数据集上训练定量评估器，用于测量R-精度top-1到top-3（T1到T3）、多模态距离（MMd）、Fréchet Inception Distance（FID）、多样性（DIV）和多模态性（MM）。 结果：我们的定性分析（基于MoMask模型）发现了一些成功生成的全身运动序列示例，这些序列能够准确反映自然的烹饪行为（见图5及补充材料）。定量结果显示，正如在HumanML3D $^{[26]}$上的实验结果一样，在不同设置和评价指标下，MoMask [^16]的性能始终优于T2M-GPT [^15]和MARDM-SiT [^93]（见表4），这可能是因为分层量化分词方式更适配全身表征的高维特性。此外，当以自我中心视角为条件时，模型能够找到一些线索来缩小全局分布差异，从而降低FID分数。 ## 5 结论、未来工作与影响 我们在一个经过传感器校准的厨房中，采集了来自十个视角的30小时RGB-D视频、3D姿态数据以及分层动作标注。所有自愿参与的受试者的隐私均得到保护，相关数据将以匿名形式共享。本研究有助于理解人类行为，涵盖了广泛的对象交互和认知过程。所采集的运动数据本身具备自然性、多模态性和精确性，不仅给计算模型带来了挑战，也为细粒度行为模式（图2C）、战略决策过程或视觉注意机制的分析提供了可靠基础。此外，我们正在采集老年人及非健康受试者（中风和截肢患者）的数据以备将来发布，旨在改善神经系统疾病患者的治疗效果 [^5]。这也将提升我们数据集的人口代表性。我们的工作补充了其他近期发布的数据集 [^20] [^21] [^36]，这些数据集虽在多个厨房中采集，但缺乏多模态特性。未来的工作可以利用更多采集到的模态（如IMU数据和深度信息）并开发额外的基准测试。 总体而言，我们共享多视角、多模态动作理解、建模以及视频问答基准测试，旨在发挥多模态的潜力以改进动作理解，并为基础模型的发展提供支持。这对于新兴的多模态模型而言尤其具有重要意义 [^85] [^86] [^94]。 致谢：我们感谢洛桑联邦理工学院计算神经科学与人工智能领域的Mathis小组的成员在整个项目期间给予的支持。 --- 本研究得到了洛桑联邦理工学院、瑞士国家科学基金会资助项目（320030-227871）、微软瑞士联合研究中心以及勃林格殷格翰基金会提供的博士奖学金（H.Q.）的支持。我们感谢大脑与心智研究所为硬件提供的资金，也感谢Neuro-X研究所为相关服务提供的资金。 ## 参考文献 [^1]: Yunqiang Chen, Qing Wang, Hong Chen, Xiaoyu Song, Hui Tang, and Mengxiao Tian. An overview of augmented reality technology. In Journal of Physics: Conference Series, volume 1237, page 022082. IOP Publishing, 2019. [^2]: Jiafei Duan, Samson Yu, Hui Li Tan, Hongyuan Zhu, and Cheston Tan. A survey of embodied ai: From simulators to research tasks. IEEE Transactions on Emerging Topics in Computational Intelligence, 6(2):230–244, 2022. [^3]: Antonella Maselli, Jeremy Gordon, Mattia Eluchans, Gian Luca Lancia, Thomas Thiery, Riccardo Moretti, Paul Cisek, and Giovanni Pezzulo. Beyond simple laboratory studies: Developing sophisticated models to study rich behavior. Physics of Life Reviews, 46:220–244, 2023. [^4]: Mackenzie Weygandt Mathis, Adriana Perez Rotondo, Edward F Chang, Andreas S Tolias, and Alexander Mathis. Decoding the brain: From neural representations to mechanistic models. Cell, 187(21):5814–5832, 2024. [^5]: Silvestro Micera, Matteo Caleo, Carmelo Chisari, Friedhelm C Hummel, and Alessandra Pedrocchi. Advanced neurotechnologies for the restoration of motor function. Neuron, 105(4):604–620, 2020. [^6]: Limin Wang, Bingkun Huang, Zhiyu Zhao, Zhan Tong, Yinan He, Yi Wang, Yali Wang, and Yu Qiao. Videomae v2: Scaling video masked autoencoders with dual masking. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 14549–14560, 2023. [^7]: Kunchang Li, Yali Wang, Peng Gao, Guanglu Song, Yu Liu, Hongsheng Li, and Yu Qiao. Uniformer: Unified transformer for efficient spatiotemporal representation learning. arXiv preprint arXiv:2201.04676, 2022. [^8]: Zhan Tong, Yibing Song, Jue Wang, and Limin Wang. Videomae: Masked autoencoders are data-efficient learners for self-supervised video pre-training. Advances in neural information processing systems, 35:10078–10093, 2022. [^9]: Haodong Duan, Yue Zhao, Kai Chen, Dahua Lin, and Bo Dai. Revisiting skeleton-based action recognition. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 2969–2978, 2022. [^10]: Beatrice van Amsterdam, Abdolrahim Kadkhodamohammadi, Imanol Luengo, and Danail Stoyanov. Aspnet: Action segmentation with shared-private representation of multiple data sources. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 2384–2393, 2023. [^11]: Daochang Liu, Qiyue Li, Anh-Dung Dinh, Tingting Jiang, Mubarak Shah, and Chang Xu. Diffusion action segmentation. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 10139–10149, 2023. [^12]: Junbin Zhang, Pei-Hsuan Tsai, and Meng-Hsun Tsai. Semantic2graph: Graph-based multi-modal feature fusion for action segmentation in videos. arXiv preprint arXiv:2209.05653, 2022. [^13]: Lucas Stoffl, Andy Bonnetto, Stéphane d'Ascoli, and Alexander Mathis. Elucidating the hierarchical nature of behavior with masked autoencoders. In European Conference on Computer Vision, pages 106–125. Springer, 2025. [^14]: Guy Tevet, Brian Gordon, Amir Hertz, Amit H Bermano, and Daniel Cohen-Or. Motionclip: Exposing human motion generation to clip space. In Computer Vision–ECCV 2022: 17th European Conference, Tel Aviv, Israel, October 23–27, 2022, Proceedings, Part XXII, pages 358–374. Springer, 2022. [^15]: Jianrong Zhang, Yangsong Zhang, Xiaodong Cun, Yong Zhang, Hongwei Zhao, Hongtao Lu, Xi Shen, and Ying Shan. Generating human motion from textual descriptions with discrete representations. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 14730–14740, 2023. [^16]: Chuan Guo, Yuxuan Mu, Muhammad Gohar Javed, Sen Wang, and Li Cheng. Momask: Generative masked modeling of 3d human motions. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 1900–1910, 2024. [^17]: Mary Hayhoe and Dana Ballard. Eye movements in natural behavior. Trends in cognitive sciences, 9(4):188–194, 2005. [^18]: Francesco Ragusa, Antonino Furnari, Salvatore Livatino, and Giovanni Maria Farinella. The meccano dataset: Understanding human-object interactions from egocentric videos in an industrial-like domain. In Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision, pages 1569–1578, 2021. [^19]: Yizhak Ben-Shabat, Xin Yu, Fatemeh Saleh, Dylan Campbell, Cristian Rodriguez-Opazo, Hongdong Li, and Stephen Gould. The ikea asm dataset: Understanding people assembling furniture through actions, objects and pose. In Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision, pages 847–859, 2021. [^20]: Dima Damen, Hazel Doughty, Giovanni Maria Farinella, Antonino Furnari, Evangelos Kazakos, Jian Ma, Davide Moltisanti, Jonathan Munro, Toby Perrett, Will Price, et al. Rescaling egocentric vision: Collection, pipeline and challenges for epic-kitchens-100. International Journal of Computer Vision, pages 1–23, 2022. [^21]: Kristen Grauman, Andrew Westbury, Lorenzo Torresani, Kris Kitani, Jitendra Malik, Triantafylos Afouras, Kumar Ashutosh, Vijay Baiyya, Siddhant Bansal, Bikram Boote, et al. Ego-exo4d: Understanding skilled human activity from first-and third-person perspectives. arXiv preprint arXiv:2311.18259, 2023. [^22]: Xin Wang, Taein Kwon, Mahdi Rad, Bowen Pan, Ishani Chakraborty, Sean Andrist, Dan Bohus, Ashley Feniello, Bugra Tekin, Felipe Vieira Frujeri, et al. Holoassist: an egocentric 这是用于现实世界中交互式AI助手的人机交互数据集。载于IEEE/CVF国际计算机视觉会议论文集，第20270–20281页，2023年。 [^23]: Yuan-Ming Li, Wei-Jin Huang, An-Lan Wang, Ling-An Zeng, Jing-Ke Meng, and Wei-Shi Zheng. Egoexo-fitness: Towards egocentric and exocentric full-body action understanding. In European Conference on Computer Vision, pages 363–382. Springer, 2024. [^24]: Naureen Mahmood, Nima Ghorbani, Nikolaus F. Troje, Gerard Pons-Moll, and Michael J. Black. AMASS: Archive of motion capture as surface shapes. In International Conference on Computer Vision, pages 5442–5451, October 2019. [^25]: Abhinanda R Punnakkal, Arjun Chandrasekaran, Nikos Athanasiou, Alejandra Quiros Ramirez, and Michael J Black. Babel: Bodies, action and behavior with english labels. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 722–731, 2021. [^26]: Chuan Guo, Shihao Zou, Xinxin Zuo, Sen Wang, Wei Ji, Xingyu Li, and Li Cheng. Generating diverse and natural 3d human motions from text. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 5152–5161, 2022. [^27]: Chuan Guo, Xinxin Zuo, Sen Wang, Shihao Zou, Qingyao Sun, Annan Deng, Minglun Gong, and Li Cheng. Action2motion: Conditioned generation of 3d human motions. In Proceedings of the 28th ACM International Conference on Multimedia, pages 2021–2029, 2020. [^28]: Fadime Sener, Dibyadip Chatterjee, Daniel Shelepov, Kun He, Dipika Singhania, Robert Wang, and Angela Yao. Assembly101: A large-scale multi-view video dataset for understanding procedural activities. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 21096–21106, 2022. [^29]: Taein Kwon, Bugra Tekin, Jan Stühmer, Federica Bogo, and Marc Pollefeys. H2o: Two hands manipulating objects for first person interaction recognition. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 10138–10148, 2021. [^30]: Jing Lin, Ailing Zeng, Shunlin Lu, Yuanhao Cai, Ruimao Zhang, Haoqian Wang, and Lei Zhang. Motion-x: A large-scale 3d expressive whole-body human motion dataset. Advances in Neural Information Processing Systems, 36:25268–25280, 2023. [^31]: Lingni Ma, Yuting Ye, Fangzhou Hong, Vladimir Guzov, Yifeng Jiang, Rowan Postyeni, Luis Pesqueira, Alexander Gamino, Vijay Baiyya, Hyo Jin Kim, et al. Nameria: A massive collection of multimodal egocentric daily motion in the wild. In European Conference on Computer Vision, pages 445–465. Springer, 2025. [^32]: Amir Shahroudy, Jun Liu, Tian-Tsong Ng, and Gang Wang. Ntu rgb+ d: A large scale dataset for 3d human activity analysis. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 1010–1019, 2016. [^33]: Jun Liu, Amir Shahroudy, Mauricio Perez, Gang Wang, Ling-Yu Duan, and Alex C Kot. Ntu rgb+d 120: A large-scale benchmark for 3d human activity understanding. IEEE Transactions on Pattern Analysis and Machine Intelligence, 42(10):2684–2701, 2020. [^34]: Yansong Tang, Jinpeng Liu, Aoyang Liu, Bin Yang, Wenxun Dai, Yongming Rao, Jiwen Lu, Jie Zhou, and Xiu Li. Flag3d: A 3d fitness activity dataset with language instruction. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 22106–22117, 2023. [^35]: Jean-Baptiste Alayrac, Piotr Bojanowski, Nishant Agrawal, Josef Sivic, Ivan Laptev, and Simon Lacoste-Julien. Unsupervised learning from narrated instruction videos. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 4575–4583, 2016. [^36]: Julian Tanke, Oh-Hun Kwon, Felix B Mueller, Andreas Doering, and Juergen Gall. Humans in kitchens: a dataset for multi-person human motion forecasting with scene context. In Proceedings of the 37th International Conference on Neural Information Processing Systems, NIPS '23, Red Hook, NY, USA, 2024. Curran Associates Inc. [^37]: Kunchang Li, Yali Wang, Yinan He, Yizhuo Li, Yi Wang, Yi Liu, Zun Wang, Jilan Xu, Guo Chen, Ping Luo, Limin Wang, and Yu Qiao. Mvbench: A comprehensive multi-modal video understanding benchmark. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 22195–22206, June 2024. [^38]: Chaoyou Fu, Yuhan Dai, Yongdong Luo, Lei Li, Shuhuai Ren, Renrui Zhang, Zihan Wang, Chenyu Zhou, Yunhang Shen, Mengdan Zhang, Peixian Chen, Yanwei Li, Shaohui Lin, Sirui Zhao, Ke Li, Tong Xu, Xiawu Zheng, Enhong Chen, Rongrong Ji, and Xing Sun. Video-mme: The first-ever comprehensive evaluation benchmark of multi-modal llms in video analysis, 2024. [^39]: Junjie Zhou, Yan Shu, Bo Zhao, Boya Wu, Shitao Xiao, Xi Yang, Yongping Xiong, Bo Zhang, Tiejun Huang, and Zheng Liu. Mlvu: A comprehensive benchmark for multi-task long video understanding. arXiv preprint arXiv:2406.04264, 2024. [^40]: Karttikeya Mangalam, Raiymbek Akshulakov, and Jitendra Malik. Egoschema: A diagnostic benchmark for very long-form video language understanding. In A. Oh, T. Naumann, A. Globerson, K. Saenko, M. Hardt, and S. Levine, editors, Advances in Neural Information Processing Systems, volume 36, pages 46212–46244. Curran Associates, Inc., 2023. [^41]: Baoxiong Jia, Ting Lei, Song-Chun Zhu, and Siyuan Huang. Egotaskqa: Understanding human tasks in egocentric videos. In S. Koyejo, S. Mohamed, A. Agarwal, D. Belgrave, K. Cho, and A. Oh, editors, Advances in Neural Information Processing Systems, volume 35, pages 3343–3360. Curran Associates, Inc., 2022. [^42]: Zhou Yu, Dejing Xu, Jun Yu, Ting Yu, Zhou Zhao, Yueting Zhuang, and Dacheng Tao. Activitynet-qa: A dataset for understanding complex web videos via question answering. In Proceedings of the AAAI Conference on Artificial Intelligence, volume 33, pages 9127–9134, 2019. [^43]: Junbin Xiao, Xindi Shang, Angela Yao, and Tat-Seng Chua. Next-qa: Next phase of question-answering to explaining temporal actions. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 9777–9786, June 2021. [^44]: Daniel Cores, Michael Dorkenwald, Manuel Mucientes, Cees GM Snoek, and Yuki M Asano. Tvbench: Redesigning video-language evaluation. arXiv preprint arXiv:2410.07752, 2024. [^45]: Ketul Shah, Anshul Shah, Chun Pong Lau, Celso M de Melo, and Rama Chellappa. Multi-view action recognition using contrastive learning. In Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision, pages 3381–3391, 2023. [^46]: Lichen Wang, Zhengming Ding, Zhiqiang Tao, Yunyu Liu, and Yun Fu. Generative multi-view human action recognition. In Proceedings of the IEEE/CVF international conference on computer vision, pages 6212–6221, 2019. ## [^47]: Yue Zhao, Ishan Misra, Philipp Krähenbühl, and Rohit Girdhar. Learning video representations from large language models. In Proceedings of the IEEE/CVF Conference on Computer --- 计算机视觉与模式识别会议论文集，第6586–6597页，2023年。 [^48]: Jacob Chalk, Jaesung Huh, Evangelos Kazakos, Andrew Zisserman, and Dima Damen. Tim: A time interval machine for audio-visual action recognition. arXiv preprint arXiv:2404.05559, 2024. [^49]: Fanyi Xiao, Yong Jae Lee, Kristen Grauman, Jitendra Malik, and Christoph Feichtenhofer. Audiovisual slowfast networks for video recognition. arXiv preprint arXiv:2001.08740, 2020. [^50]: Md Salman Shamil, Dibyadip Chatterjee, Fadime Sener, Shugao Ma, and Angela Yao. On the utility of 3d hand poses for action recognition. arXiv preprint arXiv:2403.09805, 2024. [^51]: Xin Chen, Biao Jiang, Wen Liu, Zilong Huang, Bin Fu, Tao Chen, and Gang Yu. Executing your commands via motion diffusion in latent space. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 18000–18010, 2023. [^52]: Guy Tevet, Sigal Raab, Brian Gordon, Yoni Shafir, Daniel Cohen-or, and Amit Haim Berman. Human motion diffusion model. In The Eleventh International Conference on Learning Representations, 2023. [^53]: Ekkasit Pinyoanuntapong, Pu Wang, Minwoo Lee, and Chen Chen. Mmm: Generative masked motion model. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 1546–1555, 2024. [^54]: Mingyuan Zhang, Xinying Guo, Liang Pan, Zhongang Cai, Fangzhou Hong, Huirong Li, Lei Yang, and Ziwei Liu. Remodiffuse: Retrieval-augmented motion diffusion model. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 364–373, 2023. [^55]: Matthias Plappert, Christian Mandery, and Tamim Asfour. The kit motion-language dataset. Big data, 4(4):236–252, 2016. [^56]: Boqiang Zhang, Kehan Li, Zesen Cheng, Zhiqiang Hu, Yuqian Yuan, Guanzheng Chen, Sicong Leng, Yuming Jiang, Hang Zhang, Xin Li, et al. Videollama 3: Frontier multimodal foundation models for image and video understanding. arXiv preprint arXiv:2501.13106, 2025. [^57]: Shuai Bai, Keqin Chen, Xuejing Liu, Jialin Wang, Wenbin Ge, Sibo Song, Kai Dang, Peng Wang, Shijie Wang, Jun Tang, Humen Zhong, Yuanzhi Zhu, Mingkun Yang, Zhaohai Li, Jianqiang Wan, Pengfei Wang, Wei Ding, Zheren Fu, Yiheng Xu, Jiabo Ye, Xi Zhang, Tianbao Xie, Zesen Cheng, Hang Zhang, Zhibo Yang, Haiyang Xu, and Junyang Lin. Qwen2.5-v1 technical report. arXiv preprint arXiv:2502.13923, 2025. [^58]: Zhe Chen, Weiyun Wang, Yue Cao, Yangzhou Liu, Zhangwei Gao, Erfei Cui, Jinguo Zhu, Shenglong Ye, Hao Tian, Zhaoyang Liu, et al. Expanding performance boundaries of open-source multimodal models with model, data, and test-time scaling. arXiv preprint arXiv:2412.05271, 2024. [^59]: Bo Li, Yuanhan Zhang, Dong Guo, Renrui Zhang, Feng Li, Hao Zhang, Kaichen Zhang, Peiyuan Zhang, Yanwei Li, Ziwei Liu, et al. Llava-onevision: Easy visual task transfer. arXiv preprint arXiv:2408.03326, 2024. [^60]: Xiaoqian Shen, Yunyang Xiong, Changsheng Zhao, Lemeng Wu, Jun Chen, Chenchen Zhu, Zechun Liu, Fanyi Xiao, Balakrishnan Varadarajan, Florian Bordes, et al. Longv: Spatiotemporal adaptive compression for long video-language understanding. arXiv preprint arXiv:2410.17434, 2024. [^61]: Yanwei Li, Chengyao Wang, and Jiaya Jia. Llama-vid: An image is worth 2 tokens in large language models. In European Conference on Computer Vision, pages 323–340. Springer, 2024. [^62]: Ji Lin, Hongxu Yin. "Tao, Huizi Mao, Jan Kautz, Mohammad" al language models. 2024/PR), pages [^63]: Peiyuan Zhang, Kaichen Zhang, Bo Li, Guangtao Zeng, Jingkang Yang, Yuanhan Zhang, Ziyue Wang, Haoran Tan, Chunyuan Li, and Ziwei Liu. Long context transfer from language to vision, 2024. [^64]: Yuetian Weng, Mingfei Han, Haoyu He, Xiaojun Chang, and Bohan Zhuang. LongvIm: Efficient long video understanding via large language models. In European Conference on Computer Vision, pages 453–470. Springer, 2024. [^65]: Yukang Chen, Fuzhao Xue, Dacheng Li, Qinghao Hu, Ligeng Zhu, Xiuyu Li, Yunhao Fang, Haotian Tang, Shang Yang, Zhijian Liu, et al. Longvila: Scaling long-context visual language models for long videos. arXiv preprint arXiv:2408.10188, 2024. [^66]: Hao Liu, Wilson Yan, Matei Zaharia, and Pieter Abbeel. World model on million-length video and language with blockwise ringattention, 2025. [^68]: Dorin Ungureanu, Federica Bogo, Silvano Galliani, Pooja Sama, Xin Duan, Casey Meekhof, Jan Stühmer, Thomas J Cashman, Bugra Tekin, Johannes L Schönberger, et al. Hololens 2 research mode as a tool for computer vision research. arXiv preprint arXiv:2008.11239, 2020. [^69]: Tao Jiang, Peng Lu, Li Zhang, Ningsheng Ma, Rui Han, Chengqi Lyu, Yining Li, and Kai Chen. Rtmpose: Real-time multi-person pose estimation based on mmpose. arXiv preprint arXiv:2303.07399, 2023. [^70]: Alexander Mathis, Pranav Mamidanna, Kevin M Cury, Taiga Abe, Venkatesh N Murthy, Mackenzie Weygandt Mathis, and Matthias Bethge. Deeplabcut: markerless pose estimation of user-defined body parts with deep learning. Nature neuroscience, 21(9):1281–1289, 2018. [^72]: Microsoft. Hand tracking: Hololens mixed reality toolkit. 2022. [^73]: Georgios Pavlakos, Vasileios Choutas, Nima Ghorbani, Timo Bolkart, Ahmed A. A. Osman, Dimitrios Tzionas, and Michael J. Black. Expressive body capture: 3D hands, face, and body from a single image. In Proceedings IEEE Conf. on Computer Vision and Pattern Recognition (CVPR), pages 10975–10985, 2019. [^74]: Javier Romero, Dimitrios Tzionas, and Michael J. Black. Embodied hands: Modeling and capturing hands and bodies together. ACM Transactions on Graphics, (Proc. SIGGRAPH Asia), 36(6), November 2017. [^75]: Emanuel Todorov and Zoubin Ghahramani. Analysis of the synergies underlying complex hand manipulation. In The 26th Annual International Conference of the IEEE Engineering in Medicine and Biology Society, volume 2, pages 4637–4640. IEEE, 2004. [^76]: Marco Santello, Martha Flanders, and John F Soechting. Postural hand synergies for tool use. Journal of neuroscience, 18(23):10105–10115, 1998. [^77]: Alberto Silvio Chiappa, Pablo Tano, Nisheet Patel, Abigail Ingster, Alexandre Pouget, and Alexander Mathis. Acquiring musculoskeletal skills with curriculum-based reinforcement learning. Neuron, 112(23):3969–3983, 2024. [^78]: David J Anderson and Pietro Perona. Toward a science of computational ethology. Neuron, 84(1):18–31, 2014. [^79]: Valentin Gabeff, Haozhe Qi, Brendan Flaherty, Gencer Sumbul, Alexander Mathis, and Devis Tuia. Mammalps: A multi-view video behavior monitoring dataset of wild mammals in the swiss alps. arXiv preprint arXiv:2503.18223, 2025. [^80]: Peng Wang, Shuai Bai, Sinan Tan, Shijie Wang, Zhihao Fan, Jinze Bai, Keqin Chen, Xuejing Liu, Jialin Wang, Wenbin Ge, et al. Qwen2-vl: Enhancing vision-language model's perception of the world at any resolution. arXiv preprint arXiv:2409.12191, 2024. [^81]: Kaichen Zhang, Bo Li, Peiyuan Zhang, Fanyi Pu, Joshua Adrian Cahyono, Kairui Hu, Shuai Liu, Yuanhan Zhang, Jingkang Yang, Chunyuan Li, and Ziwei Liu. Lmms-eval: Reality check on the evaluation of large multimodal models, 2024. [^82]: Shaokai Ye, Haozhe Qi, Alexander Mathis, and Mackenzie W Mathis. Llavaction: evaluating and training multi-modal large language models for action recognition. arXiv preprint arXiv:2503.18712, 2025. [^83]: Chongjun Tu, Lin Zhang, Pengtao Chen, Peng Ye, Xianfang Zeng, Wei Cheng, Gang Yu, and Tao Chen. Favor-bench: A comprehensive benchmark for fine-grained video motion understanding, 2025. [^84]: Google DeepMind. Introducing Gemini 2.0: Our new AI model for the agentic era, December 2024. [^85]: Thomas Lucas, Fabien Baradel, Philippe Weinzaepfel, and Grégory Rogez. Posegpt: Quantization-based 3d human motion generation and forecasting. In European Conference on Computer Vision, pages 417–435. Springer, 2022. [^86]: Yao Feng, Jing Lin, Sai Kumar Dwivedi, Yu Sun, Priyanka Patel, and Michael J Black. Chatpose: Chatting about 3d human pose. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 2093–2103, 2024. [^87]: Hilde Kuehne, Ali Arslan, and Thomas Serre. The language of actions: Recovering the syntax and semantics of goal-directed human activities. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 780–787, 2014. [^88]: Sebastian Stein and Stephen J McKenna. Combining embedded accelerometers with computer vision for recognizing food preparation activities. In Proceedings of the 2013 ACM international joint conference on Pervasive and ubiquitous computing, pages 729–738, 2013. [^89]: Shi-Jie Li, Yazan AbuFarha, Yun Liu, Ming-Ming Cheng, and Juergen Gall. Ms-tcn++: Multi-stage temporal convolutional network for action segmentation. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2020. [^90]: Colin Lea, Michael D. Flynn, Rene Vidal, Austin Reiter, and Gregory D. Hager. Temporal convolutional networks for action segmentation and detection. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), July 2017. [^91]: Dipika Singhania, Rahul Rahaman, and Angela Yao. Iterative contrast-classify for semi-supervised temporal action segmentation. In Proceedings of the AAAI Conference on Artificial Intelligence, volume 36, pages 2262–2270, 2022. [^92]: Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, et al. Learning transferable visual models from natural language supervision. In International conference on machine learning, pages 8748–8763. PMLR, 2021. [^93]: Zichong Meng, Yiming Xie, Xiaogang Peng, Zeyu Han, and Huaizu Jiang. Rethinking diffusion for text-driven human motion generation: Redundant representations, evaluation, and masked autoregression. In Proceedings of the Computer Vision and Pattern Recognition Conference, pages 27859–27871, 2025. [^94]: David Mizrahi, Roman Bachmann, Oğuzhan Fatih Kar, Teresa Yeo, Mingfei Gao, Afshin Dehghan, and Amir Zamir. 4M: Massively multimodal masked modeling. In Advances in Neural Information Processing Systems, 2023. [^95]: Easymocap - make human motion capture easier. Github, 2021. [^96]: Tsung-Yi Lin, Michael Maire, Serge Belongie, James Hays, Pietro Perona, Deva Ramanan, Piotr Dollár, and C Lawrence Zitnick. Microsoft coco: Common objects in context. In Computer Vision–ECCV 2014: 13th European Conference, Zurich, Switzerland, September 6-12, 2014, Proceedings, Part V 13, pages 740–755. Springer, 2014. [^98]: Wenyi Hong, Yean Cheng, Zhuoyi Yang, Weihan Wang, Lefan Wang, Xiaotao Gu, Shiyu Huang, Yuxiao Dong, and Jie Tang. Motionbench: Benchmarking and improving fine-grained video motion understanding for vision language models. arXiv preprint arXiv:2501.02955, 2025. [^99]: Rohit Girdhar, Mannat Singh, Nikhila Ravi, Laurens Van Der Maaten, Armand Joulin, and Ishan Misra. Omnivore: A single model for many visual modalities. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 16102–16112, 2022. 100. Alexey Dosovitskiy、Lucas Beyer、Alexander Kolesnikov、Dirk Weissenborn、Xiaohua Zhai、Thomas Unterthiner、Mostafa Dehghani、Matthias Minderer、Georg Heigold、Sylvain Gelly等。一张图片的价值相当于$16 \times 16$个词：大规模图像识别的Transformer模型。arXiv预印本arXiv:2010.11929，2020年。 [^101]: Yue Zhao and Philipp Krähenbühl. Training a large video model on a single machine in a day. arXiv preprint arXiv:2309.16669, 2023. [^102]: Takuya Akiba, Shotaro Sano, Toshihiko Yanase, Takeru Ohta, and Masanori Koyama. Optuna: A next-generation hyperparameter optimization framework. In Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, 2019. ## [^103]: Aaron Van Den Oord, Oriol Vinyals, et al. Neural discrete representation learning. Advances in neural information processing systems, 30, 2017 --- ### EPFL-Smart-Kitchen-30数据集及基准测试的附录 1 引言 1 2 相关工作 2 2.1 人类行为数据集 ..... 2 2.2 行为理解模型 ..... 3 3 EPFL-Smart-Kitchen-30 3 3.1 EPFL-Smart-Kitchen系统设置 ..... 4 3.2 数据收集流程 ..... 4 3.3 三维运动估计 ..... 4 3.4 细粒度动作与粗略活动标注 ..... 5 4 多模态动作与运动理解基准测试 5 4.1 Lemonade：基于语言模型的运动与动作驱动查询评估 ..... 5 4.2 动作识别基准测试 ..... 6 4.3 动作分割基准测试 ..... 7 4.4 情境化全身运动生成基准测试 ..... 7 5 结论、未来工作及影响 8 A EPFL-Smart-Kitchen平台 2 1.1 设备与传感器详情 ..... 2 1.2 传感器的同步与校准 2 1.3 食谱列表 ..... 2 1.3.1 煎蛋卷与番茄沙拉 ..... 2 1.3.2 普罗旺斯炖菜 ..... 2 1.3.3 意大利烩饭 ..... 3 1.4 泰式炒河粉 ..... 3 1.5 厨房用品列表 ..... 3 B 动作标注详情 4 2.1 动作分布 ..... 4 2.2 动词描述 ..... 4 2.3 特殊食物/物品的说明 ..... 5 2.4 标注员培训 ..... 6 2.5 动作标注验证 ..... 6 C 自动三维人体/手部运动估计 6 3.1 二维关键点估计 ..... 6 3.2 身份追踪 ..... 6 3.3 基于置信度的三维关键点提升 ..... 6 3.4 三维网格拟合 ..... 6 3.5 姿态估计质量评估 ..... 7 D 协议 8 4.1 伦理协议 ..... 8 4.2 数据收集协议 ..... 8 E 计算资源 8 基准测试的补充材料 9 6.1 Lemonade 9的详细信息 6.1.1 与其他基准测试的比较 9 6.1.2 各类别的问题分布 9 6.1.3 类别与子类别背后的设计思路 10 6.1.4 问题列表 10 6.1.5 问题工程 10 6.2 VLM评估 13 6.3 姿态数据的自我中心投影 13 6.4 动作识别基准测试的详细信息 13 6.4.1 额外结果 13 6.4.2 数据预处理 13 6.4.3 超参数 14 6.4.4 手部裁剪视频提取 14 6.5 动作分割基准测试的详细信息 14 6.5.1 模型 14 6.5.2 额外结果 14 6.6 动作分割中身体与手部的细粒度性能对比 14 6.6.1 数据预处理 14 6.6.2 超参数 14 6.6.3 特征工程细节 15 6.7 全身运动生成基准测试的详细信息 16 6.7.1 数据预处理 16 6.7.2 评估器训练 16 6.7.3 分词器性能 16 --- ### EPFL-Smart-Kitchen平台 ### 1.1 设备与传感器详情 我们在厨房内安装了九台Kinect Azure摄像头 [^67]，并要求受试者佩戴HoloLens 2头显 [^68] 以录制视频流。RGB流以30帧/秒的速度录制，深度流则以10帧/秒的速度录制。同时，我们还会从HoloLens 2中以30帧/秒的速度提取头部位置、手部姿态和视线数据。除了视频流外，我们还在部分电器（冰箱/橱柜）上安装了六台有线IMU传感器（Adafruit BNO055传感器），在常用工具（刀/锅铲）上安装了两台无线IMU传感器（Axivity AX3传感器）。有线IMU传感器连接到Arduino，Arduino会同时录制来自Kinect Azure摄像头的音频信号，再将这些信号发送给IMU传感器以实现同步。 无线IMU传感器的同步是基于数据采集期间记录的时间戳来实现的。有线IMU传感器的录制频率为30帧/秒，而无线IMU传感器的录制频率为100帧/秒（图A.1 B）。 #### 1.2 传感器的同步与校准 ![Image](images/8f3658f9bca9da8c0f288f8689b7ce165514ee6f9cc5cca80faab50d560a62e2.jpg)
Figure A.1. Calibration and IMU sensors and synchronization A). We use an AO-size checkerboard to calibrate egocentric and exocentric cameras at the synchronization timestamp. B). We attach wired IMU sensors to the appliances (fridge/cupboard) inside the kitchen and wireless IMU sensors to the frequently used tools (knife/spatula). C). We synchronize the egocentric and exocentric cameras using the offset of a flashing light and synchronize exocentric cameras and IMU sensors using audio signals.
我们使用A0尺寸的棋盘格对自我中心摄像头和外中心摄像头进行校准（图A.1 A）。由于自我中心摄像头在采集过程中会持续移动，因此我们仅在校准时间点进行校准。为了在整个采集时段将自我中心摄像头与外中心摄像头对齐，我们利用从HoloLens 2获取的头部位姿，通过外部矩阵传播的方式将其对应到校准时间点。 如图A.1 C所示，我们利用采集开始时闪烁灯光的偏移量来同步自我中心摄像头和外中心摄像头，并通过记录的时间戳匹配捕获的帧。Kinect Azure摄像头可以输出规律的音频信号；我们利用这些信号来同步所有Kinect Azure摄像头和IMU传感器。我们通过将回归得到的3D人体姿态投影到所有视角下，并手动检查在随机选取的时间点这些姿态是否与各视角下的人体对齐，从而验证校准和同步的效果。 ## 1.3 食谱列表 总体而言，参与者需要烹饪五次，每次准备不同的食谱，但普罗旺斯炖菜（1.3.2节）除外，该食谱他们制作了两次。其中一部分采集时段的数据被纳入EPFL-Smart-Kitchen-30数据集。 ## 1.3.1 煎蛋卷与番茄沙拉 ### 番茄沙拉 1. 将2个番茄切丁 2. 将一勺油与盐、胡椒及香醋混合 3. 将调味汁浇在番茄沙拉上 4. 搅拌沙拉至少2分钟，让番茄充分吸收调味汁 #### 煎蛋卷 1. 打散3个鸡蛋，加入盐和胡椒调味 2. 用中低火加热平底锅中的油 3. 将鸡蛋倒入锅中，轻轻倾斜锅体，使蛋液流动并完全覆盖锅面。 4. 让混合物烹饪约20秒，然后用铲子从中间划一道痕 5. 再次倾斜锅体，让流动的蛋液重新填满锅面 6. 重复一两次，直到鸡蛋刚好凝固。 7. 用铲子轻轻将其对折 ### 1.3.2 普罗旺斯炖菜 1. 把一锅盐水煮沸。 2. 用中火在平底锅中加热2汤匙油，加入罗勒茎和百里香叶。用中火烹煮2-3分钟。在此期间，将西葫芦、茄子和蘑菇切碎。 3. 水沸腾后，根据种类将意大利面放入煮7-10分钟。然后沥干水分，淋上橄榄油，放在一边备用。 4. 接着加入西葫芦、茄子和蘑菇（可能需要分批次操作），煎至金黄变软（大约5分钟）。在此期间，将辣椒去籽并切碎。 ---
Appliances
Fridge\nCupboardsCounter\nDrying rack2 $\times$StovesVentilationSinkDrawers
Objects
SpatulaKnifeBottle3 $\times$PotPot lidPeeler
RecipeSponge2 Salad bowlsCupCutting boardBowl
ColanderDoser glassGraterTissueBrushCleaning gloves
Paper platesSpoonSink SprayerSoapPasta SpoonTissue
Whip3 $\times$PanTowelTrivetFork
Food
OnionsTomatoesAvocadoBell PepperRadishZucchini
CucumberMushroomsShallotsCarrotsEggsButter
SurimiShrimpsPoultry BrothPastaNoodlesRice
Vegetable BrothOlive oilFrying oilWhite wineBalsamic vinegarFish sauce
BasilPaprikaTamarind pasteNutmegWhite sesameParsley
SaltPepperWaterEggplantSoy sproutsThyme
Sesame oilLemonTofu
Table A.1. Exhaustive list of items present in the EPFL-Smart-Kitchen
5. 加入辣椒再煮3分钟。在此期间，将番茄切成四瓣。 6. 拌入番茄、香醋以及适量海盐和黑胡椒。充分搅拌，用勺子背面将番茄压碎。烹煮5-7分钟，期间不时搅拌蔬菜，直到汤汁浓稠、呈甜味。 7. 加入一些罗勒叶，磨入少许柠檬皮屑，并根据需要调整调味。 ### 1.3.3 意大利烩饭 1. 在汤锅中将1.5升水煮沸，加入一块蔬菜高汤块，搅拌至溶解。水沸后转小火，让汤保持温热。 2. 在另一个平底锅中用中火融化黄油。加入250克意大利烩饭米，搅拌烹煮约3分钟，直到米粒变得半透明。倒入100毫升白葡萄酒，不断搅拌，直到米饭完全吸收酒液。 3. 往锅中加入一勺蔬菜高汤，继续烹煮，偶尔搅拌，直到高汤完全蒸发。蒸发后，再加入一勺高汤，等待其被吸收。重复此过程数次，边煮边添加高汤，直至米饭煮熟。 4. 与此同时，准备蔬菜沙拉。将半个黄瓜切成楔形块。萝卜切片，蟹棒切片。牛油果对半切开，去掉果核，切成薄片。胡萝卜去皮磨碎，将所有食材放入碗中拌匀。 5. 将酱油和芝麻油混合制成调味汁。将调味汁浇在蔬菜上，搅拌至少1分钟。撒上芝麻。 6. 意大利烩饭煮熟后，加入一勺黄油和3勺磨碎的帕玛森奶酪。根据口味加入盐和胡椒，搅拌均匀。 ## 1.4 泰式炒河粉 1. 将面条放入热水中浸泡至变软。 2. 取适量罗望子酱，溶于100毫升热水中，搅拌后过滤，即可得到罗望子汁。 3. 把豆腐切成小块，葱和洋葱切成片。 4. 在平底锅中加热食用油，将豆腐煎至金黄色，盛出备用。 5. 加入沥干的面条，与汁液一同在锅中烹煮；如果面条吸收过多汤汁，可适量加水。 6. 将鸡蛋放在面条旁煎熟，再与面条混合，此时应能看到蛋白和蛋黄分离的状态。 7. 加入豆腐、花生和干虾。 8. 关火后加入黄豆芽、洋葱和葱，搭配柠檬片食用。 ### 1.5 厨房用品清单 表A.1列出了参与者在厨房中使用到的所有物品。 ---
A
![Image](images/04f1af2ba06b7eacf71f996cc406a38ec8d3fa8b221de33019fefa4053e018e3.jpg)
B
![Image](images/f73a35f162eb1a9e01bde4ec614738ceb53fbe3dcd46152e5cd44974a2d9c357.jpg)
C
D
![Image](images/109c3ba49ba1333c03676953b016660da2e737ad9595e3942ab297adf3ab5ed6.jpg) ![Image](images/a1bcde913f9768b29548e09cdcc39f820467fbda1c524951526303c50faaef61.jpg)
Figure A.2. Number of action segments. (A) Nouns, (B) Verbs, (C) Activity (D) Number of segments per split for nouns (top) and verbs (bottom). N = 49.
### B 动作标注详情 ### 2.1 动作分布 我们的EPFL-Smart-Kitchen-30数据集提供了长度各异且符合长尾分布的动作片段。为佐证这一点，我们在图A.2中展示了动词和名词的持续时间。 ### 2.2 动词描述 每个动词都配有详细的描述，以确保其用法明确，避免标注时出现混淆。以下是动词描述的完整列表以及通用标注规则。需要注意的是，这些说明未来也可用于基于自然语言处理的技术系统。 • 打开/关闭：指打开或关闭锅具、包装、黄油、罗望子酱、水、油、酱料等物体，或是冰箱、橱柜、抽屉等器具。 - 切割：持刀对物体或食物进行切割操作。例外情况：用刀具打开包装的动作应定义为“打开”。 - 清洗：清洗物体或食物时需使用一定量的水和洗涤剂，且应在水槽区域进行。这与“清洁”不同，后者适用于水槽以外的区域。 - 清洁：清洁物体或食物时需使用纸巾、毛巾、海绵或手。可在水槽以外的任何区域进行，包括擦拭或清除刀具上残留的食物等操作。 - 搅拌：在沙拉碗、平底锅、锅具等容器中进行的搅拌动作。 - 等待：此动作不与任何名词关联。等待动作持续时间需至少3秒，否则无需标注该片段。 • 放置：指将物体放下。 - 拆分：将加工好的食材分成两部分。这与“切割”不同，后者通常需用刀具进行拆分；若两者难以区分，应优先选择“切割”作为标注。 - 触碰：仅轻微接触物体且不会产生任何后果，可能是无意识的。这与“轻敲”（重复运动）和“按压”（有意识且会产生一定后果，力度更大）不同；在其他涉及触碰的行为（如搅拌、轻敲等）中，无需单独标注“触碰”。 • 削皮：去除特定食物的表皮。可使用削皮器、刀具或直接用手操作。 - 倾倒：指将液体（水、油、酱汁、汤）从一个容器倒入另一个容器的动作。注意，罗望子糊也被视为液体，需遵循倾倒规则。 - 煸炒：煸炒指的是厨师摇动平底锅而非搅拌的动作。该动作仅与平底锅配合使用。 --- - 品尝：指将食物放入口中的动作。该动作应从食物到达参与者口腔时开始标注，且需在抓取和搬运之后进行。 • 轻敲：用铲子、勺子或刀子轻敲，以去除粘附的残留物。 • 添加：将一组食材加入另一组食材中。“添加”的优先级高于“放置”。例如，当要煮意大利面并将其加入平底锅时，我们更倾向于记录为“抓取/搬运/添加意大利面”，而非“抓取/搬运/放置意大利面”。 • 抛掷：指物体被抛向空中的动作。 • 搬运：指所接触的物体被抬起的动作。它是抓取与放置/添加之间的中间动作。 • 握住：指人试图固定物体但几乎不将其放置下来的状态。如果参与者用另一只手握住物体，在切割过程中也必须标注“握住”动作。 - 移动：指物体在不被抬起的情况下发生位移的动作（滑动）。移动动作后不会跟随“放置”动作。 - 擦干：发生在洗涤之后的动作。擦干需使用毛巾或纸巾，涉及擦拭物体的动作。若无毛巾或纸巾参与，则与“摇晃”动作相区别。 - 抓取：指抓住物体的动作，通常随后会进行搬运（抬起），最终是放置或握住（未抬起）。抓取动作从伸手运动开始，到手与物体接触时结束。注意，某些序列中也可能出现抓取后先握住再搬运的情况。 • 阅读：适用于食谱，也适用于任何带有文字的物体，如包装或瓶子。 • 蹲下：膝盖弯曲，脚跟靠近或触碰臀部或大腿后部。蹲下动作不与任何名词关联。常发生在冰箱前。它代表整个状态，而不仅仅是从蹲下开始到站起结束的动作。 - 按压：通常指参与者操作炉灶时的按键动作，或是佩戴HoloLens时通过按压手腕来打开/关闭菜单的动作。这与“轻敲”（用物体进行的重复动作）和“触摸”（无实际效果的动作）有所区别。只要参与者的手臂不收回且不与滑动按钮相交，对重复发生的按键动作可统一标注一次（针对炉灶中间的滑动按钮而言）。 - 滑动：指手或物体在表面或其他物体上滑动。参与者可以滑动炉灶上的按钮。 • 摇晃：指用力且急促地左右移动物体。在适用情况下，应代替“擦干”动作使用。 • 切换：指将物体从一只手换到另一只手，当双手均与物体接触时需标注此动作。 • 磨碎：指使用者用擦菜板（工具）处理食物（如胡萝卜或奶酪）的动作。 • 穿戴/脱下：这些动作仅能用于手套或其他衣物。 • 拿取（借助工具）：描述用工具提起物体的动作。它用于描述一种状态，不一定会紧接着“放置”动作。 ### 2.3 特殊食物/物品的说明 - 罗望子酱仅在泰式炒河粉食谱中作为与水混合的酱料使用。稀释后应将其称为“酱汁”。 - 高汤仅在意大利烩饭食谱中，当汤块与水混合后才会被使用；参与者通常会将高汤加入米饭中。 - 为避免混淆，只有在将煎炸油加入平底锅时才可称之为“煎炸油”。否则，它应被视为“酱汁”。 - 酱汁：任何烹饪用液体，包括油、醋、酒及液体混合物。向酱汁中添加调味料会改变其性质。例外情况：煎炸油。 • 盐：为避免混淆，只有往意大利面水中加盐时才能使用“盐”这一表述。否则，它应被视为“调味料”。 意大利面仅出现在普罗旺斯杂菜煲中（小麦制成的意大利面）。 • 面条用于泰式炒河粉中（米粉）。 • 调味料指以摇晃方式添加的各类香草、盐或香料。例外情况：往意大利面水中加的盐。 • 碗和沙拉碗：EPFL智能厨房配备有2个尺寸不同的金属制沙拉碗。任何其他球形容器都可视为碗，包括小黄色碗以及便当盒。 - 加工后的食材通常被称为“未煮熟的食物”。如果食物混合物已经煮熟，则应尽量用对应食谱的名称来称呼它。 • 使用有限词汇进行标注的特定规则： • 动作可以同时发生。 --- - 只有当食物是动作的目标时，才以其特定名称来定义。 - 食物经过加工但尚未煮熟时，请使用“加工后的食材”这一表述。根据定义，这不适用于沙拉（因为沙拉无需烹饪）。 • 如果所有食材都已加入混合物且参与者对混合物进行操作，请使用对应食谱的名称。例如，在普罗旺斯杂菜煲食谱中，当番茄、西葫芦和茄子混合在一起时，就称为“普罗旺斯杂菜煲”。 - 物品应尽可能晚地被定义为“垃圾”才放入垃圾桶。只要可能，该物品应保留其名称（若已知），最后的动作描述中仍应包含“垃圾”一词。（例如：拿取西葫芦，放置垃圾） • 所有动作的持续时间应至少为5帧。 请尽可能精确地描述物体交互情况。例如，参与者不会“携带调味料”，而是携带瓶子——他们携带的是瓶子，但可能会添加调味料。 ## 2.4 标注员培训 我们的研究委托了一家专门从事数据标注的第三方商业标注公司提供服务。 为确保标签质量，我们用两批小数据对标注员进行了培训。具体来说，我们首先让标注员熟悉我们的标注要求（见第2.2节和第2.3节）。之后，我们给他们提供这批小数据进行初步标注。同时，本文的两位作者也手动标注了这批数据。通过人工核对，将标注好的动作合并为黄金标准，待标注员完成自己的标注后将其提供给他们。经过两轮培训，当所有标注员的标注F1分类得分均超过0.9时，标注员才开始收集真实标注。 ### 2.5 动作标注的验证 我们采用两种标注验证方式相结合的方法来确保标注质量。首先，我们安排额外的标注员随机检查某些片段的标注结果。标注不理想的视频片段会被退回给标注员进行第二轮标注。其次，我们对所有标注结果进行基于规则的校验。例如，我们会检查“切割”动作片段是否包含在“持刀”动作片段内。标注不理想的动作片段同样会被退回给标注员进行第二轮标注。 ### C 自动三维人体/手部运动估计 为了高效且准确地从采集的视频中获取大量人体和手部运动数据，我们提出了一种能够有效利用多视角和多模态信息的人体/手部运动估计方法（图B.1）。具体而言，该方法可分为四个步骤：二维关键点估计、身份跟踪、三维关键点提升以及三维网格拟合。我们将在后续章节中详细介绍每个步骤。此外，我们还将对比我们估计的手部姿态与HoloLens 2估计的手部姿态之间的骨骼长度差异，以证明我们所估计姿态的有效性。 ### 3.1 二维关键点估计 为了在性能与效率之间取得平衡，我们选择使用RTMPose [^69] 进行二维姿态估计；该模型可在DeepLabCut v3 [^70] 中找到。具体来说，我们使用在八个姿态估计数据集上训练的RTMPose-x模型来提取人体姿态 [^69]。由于视频中手部区域较小，现有的手部检测器往往难以准确检测手部，且由于遮挡或交互作用，容易出现错误。我们选择使用在14个公共数据集上训练的wholebody模型（RTMW-x）来提取手部姿态，因为它能依靠语义关系有效定位手部区域。 ### 3.2 身份跟踪 实验人员偶尔会出现在数据采集区协助受试者。此时，RTMPose [^69] 可能会错误匹配前几帧中的检测身份。因此，在将各摄像头的2D姿态估计结果合并以进行3D姿态估计之前，必须先确定整个视频中每个视角下受试者的2D姿态。为此，我们借助Kinect人体追踪SDK [^71] 来确定受试者的正确身份。该工具利用各摄像头视角的深度图像来估算3D人体姿态及追踪身份。我们首先将3D人体姿态转换到世界坐标系下并合并，从而得到可靠的3D人体姿态估计结果。随后，我们将视频中检测到的主要身份视为受试者，并把该3D人体姿态投影到各个摄像头视角中。我们利用投影得到的2D人体姿态来识别RTMPose [^69] 所估算的正确2D姿态。由于合并后的3D人体姿态结果波动较大，我们并不将其作为最终的3D姿态结果。 ### 3.3 基于置信度的3D关键点提升 有了身份信息后，我们便可将所有摄像头视角下受试者的2D姿态合并起来以实现3D姿态提升。我们利用所有摄像头视角下的2D姿态结果及其对应的置信度分数来进行奇异值分解（SVD）。得分低于特定阈值（0.1）的姿态关节将被排除在后续的3D网格拟合过程之外。 ## 3.4 3D网格拟合 我们采用了EasyMocap [^95] 的多视角网格拟合实现方案来估算数据中的人体和手部网格。具体而言，我们利用提升后的3D姿态以及RTMPose [^69] 估算出的2D姿态来拟合SMPL参数化模型。 --- ![Image](images/fe4ab5452ddc7a0b7e47fd840b77d29f8aae25dd6f3d68d49c1d1ff1673a4d70.jpg)
Figure B.1. Body/Hand motion estimation pipeline. We effectively use multi-view and multi-modal information to regress accurate 3D body and hand meshes across the whole video sequence.
![Image](images/075d3b482e49b869b1ba42a49c179fdf0971e5028e1a17b0d59a976a6738eb73.jpg)
Figure C.1. 3D pose examples. Examples of the estimated Body/Hand meshes (left), reprojected 3D pose (center) and 3D pose (right).
[^73]。我们修改了原有的关节回归矩阵，使其适配COCO [^96] 的关节定义。通过最小化3D关节损失、2D重投影损失、时间平滑损失以及正则化损失，来优化SMPL [^73] 的姿态、形状和全局变换参数。同时，HoloLens 2手部追踪工具包 [^72] 从以观察者为中心的视角深度图像中估算出3D手部姿态，这类图像包含了RGB视图中可能缺失的手部接触信息。因此，我们也利用HoloLens 2提供的相对3D手部姿态来最小化额外的3D关节损失，以便拟合MANO参数化模型 [^74]。最终，我们利用拟合好的SMPL和MANO模型来获取最终的3D人体和手部姿态（见图C.1）。如果拟合后的姿态与提升姿态之间的欧几里得距离差异显著，我们便会丢弃该帧，因为这种差异很可能是拟合算法产生的伪影所致。 ### 3.5 姿态估计质量评估 创建3D真实数据向来十分困难。我们通过手动为4,947帧图像标注2D关键点来评估3D姿态估计流程的质量，这些图像是从所有外置摄像头视角中随机选取的，涉及14个关键点。这些图像是通过DeepLabCut的帧提取流程获得的；具体来说，我们借助k-means算法 [^70] 来采样具有代表性的视觉帧。 接着，我们比较预测的姿态与三角测量标注的基准数据之间的平均欧几里得距离。我们的姿态估计结果显示平均误差为 52.75 毫米 ± 53.26 毫米，其中手部误差为 31.73 毫米 ± 43.06 毫米，身体部位误差为 57.69 毫米 ± 54.22 毫米。这些结果基于 469 组三角测量姿态（图 C.2）。与原始的融合 3D 人体姿态估计相比，我们的姿态估计结果与基准数据更为接近。 --- 这些数据来源于 Kinect Azure 摄像头和 HoloLens 2 采集的 3D 手部姿态（图 C.2）。Kinect Azure 的 3D 姿态估计误差为 118.37 毫米 ± 177.76 毫米（针对身体部位），而 HoloLens 2 的估计误差为 86.20 毫米 ± 297.28 毫米，上述结果仅针对以自我为中心视角下能看到手部的帧进行比较。 ## D 协议 ## 4.1 伦理协议 本研究已获得瑞士人类研究伦理委员会的批准（项目编号：2022-00493）。按照获批的协议，参与者在开始参与研究前需签署研究协议。在此我们向学界分享该协议的摘要（所有斜体内容均复制自原始伦理协议）： ## • 本研究的动机 本项目旨在构建一个在“真实场景”中利用厨房环境的受试者数据库。我们收集健康受试者以及有运动障碍受试者的数据。这些数据将帮助我们利用机器学习建立新的指标（标准化评估方法），用以监测患者在康复过程中或使用辅助设备期间的状态进展。 ## • 典型烹饪流程 如果您同意参与本项目，您将使用配备壁挂式摄像头的厨房，一个用于记录手臂动作并追踪眼动的头戴式摄像头，以及装有运动和力传感器的厨具。您还需要填写一些调查问卷。您可以根据自己的方便使用厨房，但需遵守以下条件： (1) 餐食准备 (2) 烹饪（如煮意大利面）及饮品制备（如咖啡、茶）。 (3) 为下一位参与者清洁厨具。 ### • 参与本研究的好处、风险或限制 参与本研究只会给您带来轻微的不便，比如记录您的动作以及佩戴头戴式摄像头。除普通厨房环境中常见的风险外（热水、刀具使用等），记录过程并无特殊风险。 ## • 采集数据的匿名化处理 如果您的面部或任何显著特征（如纹身）出现在视频中，它们会在录制结束后被自动检测并打上模糊处理。我们只会保留经过编辑、面部及其他显著特征已被模糊处理的视频，原始数据将被删除。 您的数据仅对参与本研究的少数研究人员开放。这些数据会经过伪匿名化处理（即您的身份信息（姓名、生日）将被代码替代）。您的身份识别密钥会被妥善保存。 您提供的数据将对数据集的创建起到重要作用。在此阶段，您的数据将被匿名化处理（即您的个人信息会被汇总并加以保护，从而防止任何人识别出您的身份）。您的姓名绝不会出现在互联网或出版物上。 • 参与的自愿性及相关义务：参与完全是免费的。如果您选择不参与，或者虽已参与但在项目进行过程中决定退出，都无需说明理由。这一决定不会对您的后续医疗护理产生任何负面影响。若您选择参与本研究项目，则需遵守研究方案中的各项指示与要求。 ## 4.2 数据收集协议 EPFL-Smart-Kitchen-30的数据收集流程已经过瑞士伦理委员会的审查并获得批准。数据采集仅在位于日内瓦Biotech校区的EPFL-Smart-Kitchen中进行。所有受试者在开始首次烹饪课程前均需接受MoCA [^97] 测试，以评估是否存在轻度认知障碍；得分低于25分的受试者将被排除在研究之外。 在整个研究期间，每位受试者需参加五次时长在30分钟至1小时之间的烹饪课程。课程中他们会依次学习四道菜谱：煎蛋卷配番茄沙拉、普罗旺斯炖菜、意大利烩饭配绿叶沙拉、普罗旺斯炖菜以及泰式炒河粉（菜谱详情见1.3节）。为了研究受试者的适应性，普罗旺斯炖菜被安排了两次烹饪环节。每节课开始时，参与者需按照HoloLens 2头显的校准协议进行眼动追踪校准。 每节课开始时，受试者会收到如下指示： - 优先使用刀具和锅铲，因为这两件厨具上装有惯性测量单元传感器。 • 保持手部动作在HoloLens 2摄像头的视野范围内。 在所有10个摄像头的校准与同步帧被记录完毕后，课程正式开始。课程期间，受试者可就厨房设备（尤其是炉灶）及烹饪方法提出疑问。 根据伦理协议规定，我们对所有共享数据中的参与者面部进行了模糊处理。 ### E 计算资源 表E.1列出了用于采集视频数据、估算三维人体/手部运动以及训练各基准模型的计算机资源详情。 --- ![Image](images/65a5a427caefff5a279afb84783d5b61f68e89f6dd9cbb61c518abfb0ecfa9bd.jpg)
Figure C.2. Absolute error with triangulated ground truth comparing our 3D pose estimation (N=469) to 3D body prediction from the Kinect Azure cameras (N=469) and HoloLens 2 hand pose estimation (N=157). 3D hand pose estimation
Data collection
ComputersWe used four computers during data collection to avoid frame losses due to buffer overload. Three computers collected data from three Kinect Azure cameras while the last computer collected exclusively the HoloLens 2 videos.
RAM$3 \times 32GB$
3D body/hand motion estimation
GPUs$1 \times RTX\ 3080\ Ti$
RAM$1 \times 32\ GB$
Question-answering benchmark
GPUs$4 \times A100$
RAM$1 \times 64\ GB$
Action recognition benchmark
GPUs$2 \times A100$
RAM$1 \times 64\ GB$
Action segmentation benchmark
GPUsGeForce RTX 3090 and A100.To run experiments in parallel we used computers with different GPU settings to train models on the action segmentation task
RAM64GB
Table E.1. Details on computational resources used for data collection, 3D pose estimation and benchmarking.
#### F 基准测试的补充材料 #### 6.1 Lemonade的相关细节 #### 6.1.1 与其他基准测试的比较 与其他用于评估人类运动的基准测试相比，Lemonade具有独特优势。Lemonade的特色在于它利用真实动作标注和姿态估计结果来设计问答对（见表F.1）。
Question answering video datasets# Videos# Closed-ended QAEgo-centricFrom action annotationsFrom pose estimation
ActivityNet-QA [^42]5,80058,000✗✓✗
MVBench [^37]4,0004,000✗✗✗
TVBench [^44]2,5252,525✗✗✗
MLVU [^39]1,7303,102✓✗✗
MotionBench [^98]5,3858,052✗✗✗
EgoSchema [^40]5,0315,031✓✗✗
EgoTaskQA [^41]2,31540,322✓✓✗
Lemonade (ours)36,52136,521✓✓✓
Table F.1. Comparison with other QA benchmarks related to motion and movement.
#### 6.1.2 各类别的问题分布 这些问题是从5,116,194个问题中筛选出来的，这些问题是通过组合视频片段、问题类型和答案范围自动生成的。数据集是根据画面可见性、特定问题中是否出现手部动作以及人工筛选来选取和过滤的。Lemonade数据集中的“行为理解”类别包含18,857个问题，其中“感知”子类别有9,518个问题，“推理”子类别有9,339个问题。“长期理解”类别则有8,201个问题，其中“会话属性”子类别有2,065个问题，“总结”子类别有6,136个问题。最后，“运动与生物力学”类别包含9,463个问题，其中“运动学”子类别有5,916个问题，“物理属性”子类别有3,547个问题。表F.2列出了所有问题类型的详尽清单。 --- #### 6.1.3 类别与子类别背后的逻辑 行为理解类问题围绕标注过的动作和活动展开。 • 感知：直接询问视频片段中可见的行为是什么。这与传统的动作识别或动作分割任务类似。 • 推理：询问画面中不可见的行为（发生在之前或之后）。回答这类问题需要借助上下文信息来运用推理方法。 长期理解类问题以时长较长的视频片段作为输入。 • 会话属性：询问会话时长或参与者年龄。这类问题用于评估是否能从长视频中推断出一般性信息。 • 总结：询问动作序列或某一会话中动作发生的次数。 运动与生物力学类问题以姿态估计作为参考信息。 • 物理属性：与静态姿态信息相关的问题。 • 运动学：与速度和运动相关的问题。 ## 6.1.4 问题列表 表F.2列出了所有问题模板以及每种类型的问题数量。 ## 6.1.5 问题设计 ## Q0：我正在做什么动作？ 设计思路：选取动作片段作为参考视频，答案从动作列表或动词列表中随机选取的动作（动词+名词）或动词。 合理性：这个问题旨在考验视觉语言模型对视频片段中动作的识别能力。 ## Q1：我正在进行什么活动？ 合理性：这个问题旨在考验视觉语言模型对视频片段中活动（粗粒度动作）的识别能力。 设计思路：选取活动片段作为参考视频，答案从动作列表或动词列表中随机选取的动作（动词+名词）或动词。 ## Q2：我正在做多少个动作？ 合理性：根据我们对动作的精确定义，一个视频片段中的动作数量是固定的。这个问题旨在考验视觉语言模型对短片段中动作数量的计数能力。 设计思路：对于时长为X秒到Y秒的片段，我们统计片段内开始的动作片段数量，答案从1到5中随机选取。 ## Q3：我用[NOUN]在做什么？ 合理性：基于名词预测对应的动词。 设计：动作片段被采样并用作参考剪辑。我们从动作中提取名词作为问题的答案。
QIDQuestion examples# Questions
Behavior understanding — Perception
0"What action am I doing ?"1003
1"What activity am I doing ?"1025
2"How many actions am I doing ?"1066
3"What am I doing with the knife ?"1017
4"For how long am I holding the pan ?"987
5"For how long am I cleaning ?"1054
13"What am I pouring ?"1027
14"How much time passes from cutting the zucchini to grabbing the zucchini?"1037
15"At what moment does carrying the tomatoes starts in the clip?"1031
Behavior understanding — Reasoning
6"I am currently carrying the tomatoes, what will be the next action(s) ?"1030
7"I am currently holding, what was the previous action ?"1021
8"I am currently cooking at the stoves, what will my next activity be ?"1234
9"What were my previous 3 actions ?"2096
10"What will be my next 2 actions ?"2184
11"I am currently grabbing the zucchini, what was my previous activity ?"1008
12"I am currently pouring, what is my current activity ?"1037
Long-term understanding — Sessions properties
16"What is my age ?"1025
17"What recipe am I cooking ?"1040
Long-term understanding — Summarization
18How many times am I grabbing the peeler in this session ?"1000
19"How many times am I tasting in this session ?"988
20"For how long am I cooking ?"1004
21"What is the correct sequence of action ?"2150
22"What was the longest action in this session ?"994
Kinematic and Biomechanics — Physical attributes
23"What is the average height of my eyes in this clip ?"1177
24"What is the average shape of my right hand in this clip ?"1200
25"What is my average trunk bending angle in the clip?"1170
Kinematic and Biomechanics — Kinematics
26"The clip lasts 1.43s, What is the average speed of my left hand in this clip ?"1187
27"The clip lasts 1.73s, At what speed am I reaching for the box?"1180
28"The clip lasts 1.6s, At what speed am I putting the bowl down?"1186
29"What is the minimum angle between my left shoulder, my right shoulder and my right elbow in this clip ?"1163
30"What is the maximum distance between my hands?"1200
Table ___ and number of
动词则用于生成答案。答案是从动词列表中随机采样的。 ## 问题4：我执行[VERB]动作持续多长时间？ 原理：无论是视觉语言模型还是人类，都很难根据上下文估算时间。这个问题旨在考验模型基于上下文估算时间的能力。 设计：动作片段被采样并用作参考剪辑。我们从剪辑长度中提取正确答案。其他答案则从与正确答案相差90%、50%和20%的窗口中采样得到，分别对应简单、中等和困难难度。 ## 问题5：我执行[VERB]动作持续多长时间？ 原理：与问题4类似，但仅基于动词。 设计：与问题4类似，但使用基于动词片段的剪辑。 问题6：我当前正在[VERB] [NOUN]，接下来的[BE|过去/将来]动作是什么？ 原理：这个问题考验模型的推理能力。 --- 即推断可见剪辑前后会发生的动作。这要求模型对上下文以及参与者的行为有深刻的理解。需要注意的是，预测过去的动作对人类和模型来说都更具挑战性。 设计：动作片段被采样并用作参考。正确答案对应当前动作开始之前/之后开始的动作。其他答案则从动作列表中随机采样得到。 ## 问题7：我当前正在[VERB]，接下来的[BE|过去/将来]动作是什么？ 原理：与问题6类似，但仅基于动词。 设计：与问题6类似，但使用基于动词的剪辑和答案。 ## 问题8：我当前正在[ACTIVITY]，接下来的[BE|过去/将来]活动是什么？ 原理：与问题6和7类似，但仅基于活动。 设计：与问题6和7类似，但使用基于活动的剪辑和答案。 ## 问题9：我之前的[NUMBER]个动作是什么？ 原理：其原理与问题5、6、7类似，额外的难点在于可能的答案也是从过往动作中采样的。模型需要排序一组动作恰好发生在当前动作之前的概率，而非简单地对其进行分类。 设计：窗口大小固定为50帧。我们从当前剪辑前的窗口中提取2个、3个或4个动作（分别对应简单、中等、困难难度）。答案优先选择视频中存在但发生在提取动作之前的动作；其余动作则从动作列表中随机采样得到。 ## 问题10：我接下来的[NUMBER]个动作是什么？ 原理：与问题9类似，但基于剪辑之后执行的动作集合。 设计：与问题9类似，但基于当前剪辑之后的窗口。 问题11：我当前正在[VERB] [NOUN]，接下来[BE|过去/现在/将来]的活动是什么？ 原理：基于当前动作预测后续活动。设计：与问题6、7、8类似，但剪辑基于动作，答案基于活动。 问题12：我当前正在[VERB]，我的[NEXT/CURRENT/PREVIOUS]活动会是怎样的？ 合理性说明：根据当前动作（动词）来预测后续活动。设计思路：与问题11类似，但使用的是基于动词的片段。 问题13：我正在[VERB]什么？合理性说明：根据当前动作（动词）来推测对应的名词。 设计思路：与问题3类似，片段取自动词片段，答案则从名词列表中随机选取。 ## 问题14：从[VERB] [NOUN]到[VERB] [NOUN]之间经过了多长时间？ 合理性说明：对视觉语言模型而言，估算时间很困难，对人类来说同样如此。这个问题旨在测试模型估算两个动作之间时间的能力。这个问题对人类来说也颇具挑战性。 设计思路：窗口大小固定为200帧。对于每个动作结束点，我们会在该窗口内寻找前一个动作的起始点。正确答案即为这两个动作之间的时间间隔。不存在最小间隔限制（答案可能为0）。难度通过答案采样范围来设定：简单、中等、困难级别分别对应正确答案上下6.67秒、3.33秒和1.67秒的范围。 ## 问题15：在视频片段中，[VERB] [NOUN]是从何时开始的？ 合理性说明：对视觉语言模型而言，估算时间很困难，对人类来说同样如此。这个问题旨在测试模型估算动作开始时间的能力。这与传统的动作分割任务相关。这个问题对人类来说也颇具挑战性。 设计思路：窗口大小固定为200帧。对于每个视频片段，我们提取其中动作的起始时间。正确答案即为动作起始时间与片段起始时间之间的差值。难度通过答案采样范围来设定：简单、中等、困难级别分别对应正确答案上下6.67秒、3.33秒和1.67秒的范围。 ## 问题16：我的年龄是多少？ 合理性说明：人的行为会随年龄而变化。利用长期信息，模型能否准确估算参与者的年龄呢？从外貌、手部形状甚至着装上也能获取视觉线索。 设计思路：年龄是在数据收集过程中记录的元信息。窗口大小取值为1000帧、5000帧或10000帧。难度通过答案采样范围来设定：简单、中等、困难级别分别对应正确答案上下30年、20年和10年的范围。 ## 问题17：我正在烹饪哪种食谱？ 合理性说明：参与者正在烹饪以下食谱之一：煎蛋卷（配番茄沙拉）、意大利烩饭（配牛油果沙拉）、普罗旺斯炖菜（配意大利面）以及泰式炒河粉。虽然不同食谱的原料可能相似，但可以通过上下文信息来推断食谱，即便看不到烹饪结果也是如此。 设计思路：食谱是在数据收集过程中记录的元信息。窗口大小取值为1000帧、5000帧或10000帧。答案从食谱列表中选取。 ## 问题18：在本次会话中，我[VERB] [NOUN]了多少次？ 合理。这个问题旨在测试模型统计会话中动作数量的能力。这个问题可以通过根据上下文和参与者行为来进行估算，而无需直接计数动作执行的次数。 设计。窗口大小取值为1000、500或10000帧。正确答案是会话中执行的动作数量。答案取自正确答案上下10个范围内的数值。 ## 问题19：在本次会话中我[动词]了多少次？ 合理。与问题18类似，只是用动词代替动作。 设计。与问题18类似，但使用的是基于动词的片段而非动作。答案取自正确答案上下15个范围内的数值，这使得问题难度更高。 --- 比问题18更难。 ## 问题20：我烹饪了多长时间？ 合理。这个问题涉及烹饪会话的总时长。它对人类来说也颇具挑战性。模型应根据参与者的行为、所烹饪的食谱以及会话进度来做出估算。 设计。窗口大小取值为1000、5000或10000帧。正确答案是会话的总时长。难度由答案取样范围决定：简单模式为正确答案上下30分钟，中等模式为20分钟，困难模式为10分钟。 ## 问题21：动作的正确顺序是什么？ 合理。对动作进行排序要求模型理解动作的上下文及其时间顺序。这对人类来说也颇具挑战性。 设计。窗口大小设为500帧。我们从片段中选出3、4或5个动作（分别对应简单、中等、困难模式）。答案是这些动作的各种排列组合。注意，同一个动作可能在序列中出现多次。 ## 问题22：本次会话中最长的动作是什么？ 合理。这个问题询问的是整个会话中所有动作里最长的一个。它要求模型能够估算动作时长，并结合食谱上下文及参与者行为来得出结果。这对人类来说也颇具挑战性。 设计。我们先计算会话中所有动作的时长并排序。随后从整个时长列表中取样，取样范围可以是连续9个动作时长，也可以是连续4个动作时长（分别对应简单、中等、困难模式）。正确答案是最长的动作，其他答案则从这些范围内随机选取。 ## 问题23：在本片段中我的眼睛平均高度是多少？ 合理。这个问题旨在测试模型估算参与者眼睛高度的能力。模型应从环境和参与者的自我中心视角中提取信息；答案也应是一个合理的数值。 设计。窗口大小设为50帧。正确答案来自对参与者姿势的估算（眼睛关键点的平均值）。难度由答案取样范围决定：简单模式为正确答案的90%，中等模式为50%，困难模式为20%。 ## 问题24：在本片段中我的[右/左]手的平均形状是什么？ 合理性说明：由于单目视频中存在遮挡现象，要推断手部的形状相当困难。在本问题中，我们利用姿态估计数据将手部分为四类：张开、闭合、伸直和捏合。这个问题既可以通过直接观察手部来回答，也可以结合上下文来判断（例如参与者是否正拿着刀）。 设计思路：手部形状是从手部姿态估计数据中提取的。首先，利用指尖与腕部关键点之间的距离来区分张开手和闭合手；接着，计算食指与其他手指平均值之间的距离来确定是否为伸直手；最后，计算食指指尖与拇指指尖之间的距离来判定是否为捏合手。答案选项即为各种可能的手部形状。视频片段对应的是HoloLens 2设备检测到手部的帧，因此时间窗口可能非常短。 ## 问题25：在这个视频片段中，我的平均弯曲角度是多少？ 合理性说明：弯曲角度会受到多种因素的影响，比如参与者的年龄、行为或环境。这个问题旨在测试模型估算参与者手部弯曲角度的能力。模型需要从环境和参与者的第一人称视角中提取上下文信息；得出的答案也应当是合理的值（例如不能超过180度）。 设计思路：时间窗口被设定为50帧。正确答案取自参与者的姿态估计数据（肘部关键点的平均值）。难度是通过答案的采样范围来设定的：简单、中等、困难级别对应的采样范围分别为正确答案上下100度、50度和20度。 ## 问题26：该视频片段时长为[NUMBER]秒，在此片段中我的[RIGHT/LEFT]手的平均速度是多少？ 合理性说明：无论是人类还是视觉语言模型，估算速度都是一项具有挑战性的任务。这个问题要求模型估算出视频片段中手部移动的总距离，再将其除以视频时长。模型同样需要从环境和参与者的第一人称视角中提取上下文信息。 设计思路：视频片段取自动词段落。正确答案取目标手部腕部的速度。难度通过答案的采样范围来设定：简单、中等、困难级别对应的采样范围分别为正确答案上下1 m/s、0.5 m/s和0.1 m/s。 ### 问题27：该视频片段时长为[NUMBER]秒，在此片段中我伸手去拿[NOUN]时的速度是多少？ 合理性说明：该问题与问题26类似，但专门针对针对目标物体的伸手动作。这为模型提供了更精确的上下文以估算速度。 设计思路：视频片段取自动词为“reach”的动作段落。正确答案取目标手部腕部的速度。难度通过答案的采样范围来设定：简单、中等、困难级别对应的采样范围分别为正确答案上下1 m/s、0.5 m/s和0.1 m/s。我们会过滤掉HoloLens 2设备未检测到手部的视频片段。 问题28：该视频片段时长为[NUMBER]秒，在此片段中我放置[NOUN]时的速度是多少？ 合理性说明：该问题与问题27类似，但针对的是放置动作。设计思路：与问题27类似，但使用的视频片段基于动词“put”。 ### 问题29：在此视频片段中，我的[LEFT/RIGHT][BODYPART]、[LEFT/RIGHT][BODYPART]以及[LEFT/RIGHT][BODYPART]的角度的[最小值/平均值/最大值/范围]是多少？ 合理。角度在行为分析中非常重要。这个问题要求视觉语言模型根据上下文推断角度，对人类来说同样颇具挑战性。 设计。窗口大小被设定为50帧。可能的问题包括：针对每种尺寸，肘部、肩部和髋部之间的角度；肩部、肘部和腕部之间的角度；髋部、膝盖和踝部之间的角度；以及一侧肩部、另一侧肩部和对应肘部之间的角度。问题可以涉及视频片段中这些角度的平均值、最大值或最小值。难度是通过答案采样范围来设定的：简单题的采样范围为正确答案上下100度，中等题为50度，难题则为20度。 --- 肩部、肘部和腕部之间的角度；肩部、肘部和腕部之间的角度；髋部、膝盖和踝部之间的角度；以及一侧肩部、另一侧肩部和对应肘部之间的角度。问题可以涉及视频片段中这些角度的平均值、最大值或最小值。难度是通过答案采样范围来设定的：简单题的采样范围为正确答案上下100度，中等题为50度，难题则为20度。 问题30：我的双手之间的最小/平均/最大距离是多少？ 合理。这个问题旨在测试模型根据上下文估算距离的能力，对人类来说同样颇具挑战性。 设计。视频片段取自HoloLens 2设备能同时检测到双手的帧。正确答案取自两只手腕之间的距离。难度是通过答案采样范围来设定的：简单题的采样范围为正确答案上下1米，中等题为0.5米，难题则为0.2米。 ### 6.2 视觉语言模型评估 我们使用lmms-eval框架[^58]对近期最先进的视觉语言模型进行评估，包括InternVL2.5-8B [^59]、LLaVA-OneVision-7B [^57]、Qwen2.5-VL [^84]以及Gemini 2.0 Flash [^81]。对于Qwen2.5-VL，我们分别报告了7B和32B参数版本的结果，以考察模型规模的影响。 数据集与预处理。我们从每个视频片段中均匀抽取N帧作为模型的视觉上下文。除非另有说明，每个查询使用的帧数为$N=8$。由于计算限制，对于Qwen2.5-VL 32B版本，我们设定为$N=4$。这些帧是在每个视频片段标注的开始和结束时间戳之间均匀抽取的。 提示词构建。对于每个问题，呈现给模型的输入提示词遵循标准化模板：
Prompt Used for LEMONADE QA Benchmark
Answer the following multiple-choice question using the given images. Question: [question text] Choices: A. [option 1] B. [option 2] C. [option 3] D. [option 4] Respond only with the letter of the correct answer.
对于每个问题，模型通过贪婪解码生成最多128个输出词元（$T = 0$）。模型被明确要求用单个字母来表示其预测的答案。我们通过基于规则的启发式方法从每个响应中提取答案选项。若无法识别出有效答案，则默认将预测结果设为“A”（这是随机的，因为问题中选项的顺序是随机排列的）。 #### 6.3 姿态数据的自我中心投影 在用于动作识别、动作分割以及全身运动生成基准测试之前，所有姿态都会被投影到以自我为中心的参考坐标系中。我们将在本节中介绍这一投影方法。参考坐标系和重投影矩阵是以身体关节为参照计算得出的。在提取出质心之后，我们取身体左右两侧关节的平均值来得到主要参考向量。接着，我们通过取下半身与上半身部分的平均值来得出一个临时向量。通过对这两个向量求叉积，就能得到第二个参考向量。最后，通过对这两个参考向量再次求叉积，便可获得第三个正交参考向量。手部姿态和视线方向也会利用前一步计算出的参考坐标系进行重投影。利用这些信息时，便能间接推断出手臂或头部的位置。 #### 6.4 动作识别基准测试的详细内容 来自不同模态的数据首先会被送入各模态专用的投影层以生成查询词元，随后再送入Transformer主干网络来提取跨模态的词元级特征。最终，通过平均池化操作将不同模态的特征合并，从而做出动作预测。具体而言，对于视频类数据，我们遵循VideoMAE [^8]的原始实现方式，选取16帧数据，并将每帧拆分为$16 \times 16$个块；在我们的基线设计中，我们引入了以自我为中心的视角以及一个全局的以物体为中心的视角作为输入。对于点云类数据（如手部和身体姿态、视线方向），我们会采样32帧的姿态数据。针对每一帧姿态，我们将所有关节及其对应的置信度拼接起来，再通过线性投影层生成查询词元。我们尝试了两种不同的变体：一种使用在EPIC-KITCHENS-100 [^8]上预训练的VideoMAE [^20]权重，另一种则从零开始训练。我们遵循常规做法 [^48] [^99]，分别预测动词类别和名词类别，再通过外积运算得到动作类别。 #### 6.4.1 补充结果 表F.3对比了使用不同输入模态从零开始训练的VideoMAE模型在动作识别基准测试中的表现。需要注意的是，这些结果明显低于在EPIC-KITCHEN-100上预训练过的模型所得的结果。 #### 6.4.2 数据预处理 我们采用配备 VIT-L backbone [^8] 的 VideoMAE [^100] 模型来构建我们的多模态基线。来自不同模态的数据被投影为 query token，由 transformer 处理以进行特征提取，并通过 Average Pooling 合并以用于动作预测。视频数据使用包含 16 帧的 VideoMAE [^8]，融合了 egocentric 视角和全局 exocentric 视角。点类型数据（例如 hand-body poses、eye gaze）采样 32 帧姿态，将关节位置与置信度分数拼接，并线性投影为 query token。我们测试在 EPIC-KITCHENS-100 上预训练的 VideoMAE [^8] 权重 ---
ModalitiesAll Classes Accuracy Top1/5Head Classes Accuracy Top1/5Tail Classes Accuracy Top1/5
ActionVerbNounActionVerbNounActionVerbNoun
🔍16.76/35.2941.85/86.6529.35/59.9219.40/40.6044.86/89.1733.12/65.811.51/4.6424.51/72.137.58/25.94
🔍🟢14.29/31.3242.89/84.7723.51/48.9516.58/35.6944.98/87.1226.60/54.031.08/6.1130.81/71.205.68/19.64
🔍🟢🟢16.97/35.7542.35/87.0629.46/61.2019.77/41.2245.66/89.5033.30/67.590.81/4.1723.23/72.987.31/24.35
🔍🟢🟢13.27/27.3240.63/76.5522.01/43.1215.30/30.7942.07/78.3424.87/46.991.58/7.3132.35/66.225.49/20.76
🔍🟢🟢17.73/35.8548.81/87.2926.74/52.5020.42/40.4850.55/89.0930.15/57.512.20/9.1438.77/76.857.07/23.64
🔍🟢🟢🟢16.90/35.1247.60/86.3625.93/52.0019.48/39.5249.17/88.2229.35/56.892.01/9.7038.58/75.616.18/23.81
🔍🟢🟢🟢🟢17.01/34.8148.09/86.9226.03/51.3319.63/39.1449.74/88.7929.47/55.951.93/9.8638.54/76.116.15/24.70
🔍🟢🟢🟢🟢🟢21.37/44.3748.52/90.2235.73/68.3624.52/50.1751.25/92.5039.88/73.963.21/10.9032.74/77.0411.79/36.03
Table F.3. Fine-grained action recognition benchmark results trained from scratch. 📧: egocentric view, 🔍: global exocentric view, 🌐: 3D body pose, 📷: 3D hand pose, 🌐: eye gaze, ✪(🔍×multiple 🔗): hand cropped videos. Combining modalities has the potential to increase the performance. Our best results are achieved by cleverly merging these modalities together.
[^20]: or trained from scratch. Action classes are derived by separately predicting verbs and nouns, then combining them via outer product [^48] [^99]. 正如主论文中所讨论的，我们的EPFL-SmartKitchen-30数据集中的视频时长$(35.9 \pm 11.6$分钟，比现有的动作数据集更长。为了实现高效的数据加载，我们借助AVION [^101]框架对原始视频进行预缩放处理，并将其切割成30秒长的片段。对于注释列表中查询到的某一特定动作标注，我们仅加载包含该标注片段的视频块。 ### 6.4.3 超参数 我们采用了TIM [^8]提出的VideoMAE [^48]的精简版，该版本在EPIC-KITCHENS-100数据集上提供了预训练权重 [^20]，并且将原有的分类头修改为两个分类头，以便模型能够分别预测动词和名词类别。我们采用与TIM [^48]相似的超参数来训练VideoMAE [^8]模型。具体来说，对于输入的动作片段，我们会为视频输入（第一人称视角和第三人称视角）均匀采样16帧，为姿态输入（眼睛、手部和身体姿态）采样32帧。初始学习率设为0.0003，并由余弦调度器进行控制。此外，我们将权重衰减设为0.05，丢弃率设为0.3，以防止过拟合。 #### 6.4.4 手部裁剪视频提取 我们采用了一种稍显复杂的方法来合并第三人称视角和手部姿态数据。具体来说，对于给定的动作片段，我们会将3D手部姿态投影到所有摄像头视角中，选择显示手部区域最大的视角，然后裁剪出双手周围的帧。我们将这些手部裁剪后的视频与第一人称视角视频一起作为输入送入VideoMAE模型，并将裁剪后的视频拆分为每只手的8×8个块（见图F.1）。 #### 6.5 动作分割基准测试详情 ### 6.5.1 模型 MS-TCN3是MS-TCN++的一种改进版本[^89]。MS-TCN3与MS-TCN++的主要区别在于：它将第一阶段中最后一层和倒数第二层的输出结合起来， 作为第二阶段输入，从而生成更丰富的表征。 ![Image](images/ab94871364a197f5d9d856bbae112676a3adb6a600a0c86290bd6fd5080a5f57.jpg)
Figure F.1. Feature extraction from multimodal data. Hand videos are extracted from the exocentric view which observes the largest hand area and used together with the egocentric to VideoMAE.
这样做是为了获得更丰富的表征。C2F-Transformer是对C2F-TCN的一种改进[^91]，它用注意力机制替换了部分卷积操作。 #### 6.5.2 额外结果 表F.4展示了动作分割基准测试中获得的综合结果，包括编辑分数以及在50%阈值下计算的片段F1值。 #### 6.6 动作分割中身体与手部的细粒度性能 #### 6.6.1 数据预处理 为了处理时长较长的视频，我们将视频切分为长度固定的子序列（具体分段长度见表F.5），子序列之间重叠比例为10%。这些片段是按照表F.5中定义的时间子采样比例进行采样的。 ### 6.6.2 超参数 在动作分割基准测试中，我们使用Optuna [^102]为名词和动词搜索最佳超参数，输入数据为Exo-Body。训练其他模态时我们也使用相同的参数。所有模型均使用 --- ![Image](images/d8fb3283b410f20ce23d93637016dc60f96f782ba67d3e4aeb35cfa976c3cceb.jpg) ![Image](images/cb7d617e9ddb42afd7a88b1123526f65a3d5a733fb570c96020acf5f94e703ad.jpg)
Figure F.2. Absolute difference for action-wise performances using body pose vs hand pose for verbs (top) and nouns (bottom).
F1-score $\uparrow$Edit Score $\uparrow$F1@50 $\uparrow$
Y🥲🍎Y🥲🍎Y🍎Y🥲YY🍎Y🍎Y
Verbs
MS-TCN318.120.211.720.921.130.133.9838460878791932.93.92.04.44.3
C2F-TCN $^{*}$18.820.112.222.122.234.636.6868672898893947.67.43.38.59.3
C2F-Transf.19.922.413.122.822.235.039.6878873888893956.27.33.18.59.3
EDTCN $^{*}$19.623.011.922.125.234.339.68788668890939511.513.45.812.814.9
Nouns
MS-TCN310.613.47.615.611.331.235.9858769848695952.42.51.33.04.2
C2F-TCN $^{*}$12.014.37.916.110.835.241.3898981908096964.65.82.56.02.7
C2F-Transf.11.112.97.813.49.229.037.2858573867294963.13.91.94.04.1
EDTCN $^{*}$11.911.27.112.311.924.337.3828365838192955.34.52.45.41.5
Activity
MS-TCN351.858.631.954.458.572.966.48890858990949215.713.38.713.915.1
C2F-TCN $^{*}$54.555.441.361.861.272.265.58787818989939026.323.613.828.728.6
C2F-Transf.51.256.938.862.159.970.567.78889839090939227.328.318.337.035.2
EDTCN $^{*}$49.053.532.053.154.271.067.48688858888939222.524.712.627.026.4
Table F.4. Results for action segmentation benchmark. 📊: 3D body pose, 🔋: 3D hand pose, 👀: eye gaze, 📷: egocentric view. * indicates models modified to integrate pose as input data instead of deep image features.
批量大小為512进行训练。各模型的最佳参数详见表F.5。 此外，MS-TCN3模型训练时使用了14层PG层和10层R层。 #### 6.6.3 特征工程细节 速度、加速度、速度方向、关节角度、关节加速度、坐标内距离、到质心的距离以及质心位置 下面列出了针对每个特征提取所执行的计算。 • 关节速度/加速度：从原始坐标中计算得出的速度和加速度。 • 关节角度：将成对向量投影到各自的二维平面后所得的结果。 • 速度方向：在时间$t+1$与时刻t的关节速度之差所形成的三维向量。 • 坐标内距离：原始坐标之间的两两距离。 ---
HyperParametersMS-TCN3C2F-TCNC2F-TransformerEDTCN
Nouns
Loss - alpha$5.14e^{-5}$$1.4e^{-4}$$2.0e^{-5}$$3.4e^{-5}$
Loss - focal✗✗✓✗
Temp. subsampling0.840.950.900.90
Number f maps1065932
Segment length256512512256
Learning rate$1e^{-5}$$1e^{-5}$$1e^{-5}$$1e^{-5}$
Verbs
Loss - alpha$5.69e^{-4}$$1.77e^{-3}$$4.42e^{-5}$$5.66e^{-3}$
Loss - focal✗✗✓✗
Temp. subsampling0.910.830.850.95
Number f maps1185864
Segment length51210241024128
Learning rate$1e^{-5}$$1e^{-5}$$1e^{-5}$$1e^{-5}$
Activity
Loss - alpha$5.99e^{-5}$$9.21e^{-4}$$1.67e^{-5}$$2.74e^{-3}$
Loss - focal✗✗✓✓
Temp. subsampling0.820.750.940.80
Number f maps123128128
Segment length2561024512256
Learning rate$1e^{-5}$$1e^{-5}$$1e^{-5}$$1e^{-5}$
Table F.5. Hyperparameter used for the action segmentation benchmark.
• 质心：给定帧中原始坐标的平均值。 - 到质心的距离：各坐标点与质心之间的距离。 全息手与外骨骼手。利用外中心信息来推断手部姿态信息不仅精度更高，还能显著提升所有动作分割模型的性能（表F.6）。
VerbsNouns
Holo-Exo-Holo-Exo-
MS-TCN3 $^{{*}}$14.020.211.315.6
C2F-TCN $^{{*}}$13.620.19.714.5
C2F-Transformer $^{{*}}$15.822.420.214.0
EDTCN $^{{*}}$15.323.010.614.6
Table F.6. Performance comparison between HoloLens pose estimation and Exocentric pose estimation. indicates models that have been modified to integrate pose as input data instead of deep image features.
#### 6.7 全身运动生成基准测试详情 在全身运动表示方面，我们采用冗余信息作为输入运动表示，这样通常能得到更稳健的表示。具体而言，我们将关节位置（身体、手部及视线）和关节角度（身体、手部及视线）拼接起来作为运动表示，最终得到327维的运动表示。我们以细粒度动作作为输入文本，并为每个词添加标签（如动词、名词、副词标签）。随后使用CLIP的文本编码器[^92]将它们转换为词元。我们同样使用CLIP的图像编码器[^92]将中间的自我中心视角帧处理为视觉特征。作为基线模型，我们选用了两种最新的运动生成模型，即T2M-GPT [^15]和MoMask [^16]。MoMask是HumanML3D [^26]上的最先进模型，而T2M-GPT则是另一种采用不同机制的强大模型。我们使用两类文本提示对模型进行训练：动词-名词对（动作）以及仅动词。 #### 6.7.1 数据预处理 我们遵循HumanML3D [^26]的代码库来对EPFL-Smart-Kitchen-30姿态数据进行预处理。运动生成模型的输入是经过处理的姿态特征，其维度为263，包含姿态关节位置、关节旋转以及地面接触信息。为使运动生成模型的训练阶段保持稳定，我们仅保留帧数大于64且小于300的片段用于训练，这一做法与HumanML3D [^26]中的方法一致。 #### 6.7.2 评估器训练 FID和R-precision指标都需要先通过预训练模型提取特征，再计算相关指标。因此，我们也按照HumanML3D [^26]的代码库要求，在我们的数据集上重新训练评估器。
Text typeVerbsActions
ModelsrFID $\downarrow$MPJPE $\downarrow$rFID $\downarrow$MPJPE $\downarrow$
VQ1.8190.2951.5680.301
R-VQ0.6060.2920.7320.292
Table F.7. Table comparing different models and text types on rFID and MPJPE metrics.
#### 6.7.3 分词器性能 T2M-GPT [^15]采用矢量量化（VQ）[^103]作为分词器，而MoMask [^16]则提出使用残差矢量量化（R-VQ）作为分词器。我们在自己的数据集上对两者进行训练，以便T2M-GPT [^15]和MoMask [^16]能将其用作模型组件。因此，我们也展示了VQ和R-VQ的重建性能（表F.7），这些性能通过重建弗雷谢特 inception距离（rFID）和平均关节位置误差（MPJPE）来衡量。