# 基于现实人类活动视频的可扩展视觉-语言-动作模型预训练用于机器人操控
李启修$^{1,2*} \dagger$、邓宇$^{2*}$、梁耀波$^{2*}$、罗林$^{2*}$、周磊$^{2\dagger}$、姚成唐$^{2}$
曾凌琪$^{2\dagger}$、冯志远$^{1,2\dagger}$、梁慧芝$^{1,2\dagger}$、徐思成$^{2}$、张一忠$^{2}$、陈曦$^{2}$
陈浩$^{2}$、孙莉莉$^{2}$、陈东$^{2}$、杨娇龙$^{2\dagger}$、郭百宁$^{2}$
Fig. 1: We present a pretraining approach for robotic Vision-Language-Action (VLA) models by transforming unstructured real-life videos of human activity into structured V-L-A formats aligned with existing robot data. The pretrained model demonstrates strong zero-shot hand action prediction in unseen environments and can be effectively finetuned with dexterous robot hand data for real-world tasks, showing robust generalization to new objects and environments.
摘要—本文提出了一种利用大量未经脚本编排的现实生活人类手部活动视频来预训练机器人操控领域的视觉-语言-动作（VLA）模型的方法。我们将人类手部视为灵巧的机器人末端执行器，研究表明，无需任何标注的“自然场景”下的第一人称人类视频，能够被转化为在任务粒度与标签方面与现有机器人VLA训练数据完全对齐的数据格式。这一成果得益于我们开发出的针对任意人类手部视频的全自动化整体人类活动分析方法。该方法能够生成原子级别的手部活动片段及其对应的语言描述，每个片段还附带逐帧的3D手部运动与相机运动信息。我们处理了海量第一人称视频，最终构建了一个包含100万个片段、2600万帧的手部VLA训练数据集。该训练数据涵盖了现实生活中的各类物体与概念、灵巧操控任务以及环境变化，其覆盖范围远超现有机器人数据的水平。我们还设计了灵巧手VLA模型架构，并在该数据集上对该模型进行预训练。实验表明，该模型在完全未见过的真实世界观测数据上展现出强大的零样本能力。此外，仅用少量真实机器人动作数据对其进行微调，就能显著提高任务成功率，并增强其在真实机器人实验中对新物体的泛化能力。我们认为这项工作为扩大VLA预训练规模、实现具备泛化能力的具身智能奠定了坚实基础。项目网站包含了更多可视化结果、模型、数据集与代码，网址为：。
## 一、引言
现有的机器人操控领域视觉-语言-动作数据通常是在实验室环境中通过人工遥操作收集的[^1] [^2] [^3] [^4] [^5]。尽管这类机器人动作数据极为宝贵，但其高昂的获取成本严重限制了所收集数据的规模，以及其中技能、物体类别和场景变化的多样性。因此，当前VLA数据集在数量与多样性方面远远落后于互联网规模的文本及视觉-语言数据，也不足以满足真实世界机器人任务所需的复杂性要求。用于灵巧机器人手部的VLA数据更是稀缺；据我们所知，目前尚无可用于预训练的大规模灵巧手动作数据集。
与此同时，网络上存在着海量的现实生活人类视频，其中包含了丰富的日常活动示例
---
人类行为以及与各种环境的物理交互。这类视频通常缺乏结构化：它们没有脚本、未经分割，长度与任务粒度各异，包含大量噪声和无关动作，且缺少语言指令和3D动作标签。尽管利用人类视频进行机器人学习已受到广泛关注 [^6] [^7] [^8] [^9] [^10] [^11] [^12] [^13] [^14] [^15] [^16] [^17]，但现有方法均未利用无任何人工标注的大规模非结构化视频来预训练VLA模型。这就引出了一个关键问题：我们能否将这些非结构化视频转化为与现有机器人V-L-A训练数据完全匹配的数据格式？
本研究首次探讨了这一问题，并给出了肯定的答案。针对非结构化的人类视频，我们将人类手部视为机器人的末端执行器，旨在实现与真实机器人V-L-A数据的两类对齐。1）任务对齐：我们需要对原子级的人类动作序列（短期任务）进行有意义的分割与筛选，以符合现有机器人数据的规范。该问题与视频中的时序动作分割密切相关，这仍是一个未解决的难题，目前尚无能满足我们需求的方法。2）标签对齐：我们需要尽可能精确地恢复度量空间下的3D手部运动 $^{1}$，从而提供密集的动作标签。这一任务颇具挑战性，因为我们通常使用的是单个、未经校准且可能处于移动状态的摄像头。此外，我们还需要精确的语言指令标签来描述这些动作。
为此，我们提出了一种全面的人类活动分析框架，可将任意长度的人类手部活动视频转换为多条灵巧操作的V-L-A轨迹。这是一种无需人工干预的全自动化方法。在该框架中，我们首先利用3D视觉领域的最新进展——尤其是深度视觉SLAM、深度估计和手部重建技术，开发出一种单目3D摄像头与手部姿态跟踪方法。其输出结果包括摄像头的视场角、逐帧摄像头姿态以及逐帧手部姿态（基于6D姿态和全部关节角度）。对于时序原子动作分割，我们提出了一种简单却出奇有效的算法，该算法基于从恢复的3D运动标签中获取的3D空间内的手部运动速度。最后，对于每段分割后的视频片段，我们会在采样视频帧上可视化手部轨迹，并提示VLM判断该动作是否构成有意义的操作；若确实如此，则用自然语言描述该动作。
真实视频数据的一个显著优势在于其提供的丰富的动作多样性与场景变化。作为起点，我们处理了来自现有第一人称人类视频数据集的大量原始视频。最终得到的手部V-L-A数据集包含约100万个片段和2600万帧，涵盖了广泛的物体、概念、技能及环境变化，其覆盖范围远超现有机器人数据。我们还开发了一种采用因果动作变换器的灵巧手VLA模型架构，并在该数据集上对该模型进行预训练。该模型在完全陌生的场景观测中展现出强大的零样本能力。我们还开展了真实机器人实验，结果表明：仅用少量真实机器人手部数据对模型进行微调，就能显著提高任务成功率以及对新物体和背景的泛化能力。
我们的工作与以往利用人类视频来训练机器人操控模型的研究截然不同。那些利用第一人称人类视频来学习视觉和语言表征、可操作区域、点轨迹等的方法[^7] [^8] [^9]，以及[^12] [^13] [^14]，并未探索针对VLA模型的动作预训练。近期利用来自人类视频的潜在动作[^15] [^16] [^17]进行预训练的研究，也并未像我们一样提供明确的3D动作标签。我们的实验证明了这种预训练方法的优越性。最近，有几项与我们同时期开展的研究，也尝试用与我们类似的明确3D手部动作来训练VLA模型[^18] [^19] [^20]，但它们的数据主要局限于实验室中精心设计的拍摄场景；详细讨论将在下一节展开。
与现有技术相比，我们的方法为预训练数据的扩展提供了更可行的途径。尽管本研究使用的是现有第一人称视频数据集中的视频，但并不存在阻碍进一步扩展数据的技术障碍。由于不对受试者的活动或环境施加限制，且仅需一台网络摄像头，每位生活记录者都能切实成为机器人的“教师”。我们憧憬着这样的未来：机器人能够借助海量且低成本的人类视频演示来掌握多种技能，再通过少量的真实机器人数据或强化学习进行针对性微调。我们的训练数据集及预训练的VLA模型已向社区开源，以助力后续研究。
### 二、相关工作
a) 机器人VLA模型预训练：能够执行各类语言指令任务的机器人VLA模型[^1]，[^21] [^22] [^23] [^24] [^25] [^26] [^27] [^28] [^29] [^30]通常需要基于大量数据进行预训练。为VLA模型整合预训练的视觉-语言模块或骨干网络已是常见做法，在此我们简要概述一下涉及动作模态或其替代形式的预训练内容。近期采用动作预训练的VLA模型[^22]， [^23]， [^25]， [^26]， [^28]， [^29]均利用了Open X-Embodiment（OXE）数据集[^2]，该数据集包含了在二十多台机器人上采集的超过100万条真实机器人轨迹。这一大规模数据集提供了丰富的技能和环境变化，非常适合用于预训练。其中一些研究[^25]， [^27] [^28] [^29]除了使用OXE数据外，还纳入了更多开源或自研的机器人动作数据。[^31]的研究则在模拟器中合成了大量视觉-语言-动作数据用于预训练，但仅涵盖了抓取任务。还有一系列研究[^3]， [^15] [^16] [^17]， [^32]探讨了以无监督方式从人类和/或机器人视频中学习潜在动作，并利用提取出的潜在动作作为动作代理来预训练模型。其他一些研究
---
Fig. 2: Overview of our holistic human activity analysis framework, which transforms unscripted real-life human videos into VLA episodes of human hands aligned with typical robotic data.
提出将视频中的未来帧作为预训练的预测目标[^33]， [^34]。
近期有一些与我们同时期的研究，它们利用以自我为中心的视频中的3D手部动作标签来进行VLA预训练 [^18] [^19] [^20]。这些方法主要使用在受控环境中采集的手部与物体交互视频，且依赖一些特权信息。例如，由于任务事先已编写好脚本，这些视频能被很好地分割成语言指令引导的动作片段；而3D手部动作通常是通过先进设备（如RGBD传感器、VR/AR头戴设备）获取的。我们的研究目标则有所不同：即利用未经脚本编排的真实人类视频来进行大规模预训练，这类视频涵盖的任务、物体和真实世界环境范围要广泛得多，从而能显著提升零样本动作预测性能。此外，这类视频的随意采集特性也使其具备更高的可扩展性。
b) 灵巧手操控：利用多指机器人手进行灵巧操控的研究已有数十年历史，一直是热门研究方向。早期基于视觉输入的学习模型通常是在模拟器中通过强化学习训练的 [^35] [^36] [^37]。不过，训练灵巧手RL策略需要精妙的奖励设计，且其在现实场景中的适用性往往有限。利用人类远程操控的演示数据进行模仿学习，也常被用来提升任务性能 [^38], [^39]。以人类手部运动作为演示数据的方法 [^6], [^10], [^40] [^41] [^42] [^43] [^44] 也得到了积极研究。以往的这些工作通常针对单个或少数几个任务来训练模型。最近，语言指令被引入灵巧手操控模型中，以便处理涉及更多种类物体的任务 [^12], [^45], [^46]。
c) 从人类视频中学习机器人技能：近年来，利用人类视频训练机器人模型的研究十分活跃。多项研究 [^7] [^8] [^9], [^47] 利用以自我为中心的视频来学习视觉与语言表征。有些方法利用从动作捕捉视频中提取的显式人类动作 [^6], [^10], [^42], [^43], [^48], [^49]，或通过网络视频 [^11], [^50]，借助模仿学习框架来指导机器人策略训练。另一些方法则不依赖显式动作，而是从人类视频中学习可供性 [^13], [^51] [^52] [^53]、点轨迹 [^14], [^54], [^55]，或手部与物体掩码 [^56]。最近出现了一类新方法，它们以无监督方式从人类视频中学习潜在动作，并利用潜在动作标签对动作模型进行预训练 [^15] [^16] [^17], [^57], [^58]。一些近期的研究尝试利用从以自我为中心的人类视频中提取的3D手部动作标签来进行VLA预训练 [^18] [^19] [^20]。如前所述，这些研究主要涉及在受控环境中采集且包含特权信息的视频。另外，还有一些方法利用人类视频训练视频生成模型，以实现从人类到机器人的视频迁移 [^59], [^60]、视觉任务规划 [^12], [^61]，或构建世界模型 [^16], [^62], [^63]。
d) 视频的时间动作分割：时间动作分割，也称为时间动作检测或定位，是一种从长时长的人类视频中检测动作窗口并对其进行分类的技术。早期的方法[^64] [^65] [^66] [^67] [^68]主要聚焦于预定义的动作类别。最近，具备广泛动作理解能力的视频输入式VLM[^69]、[^70]被提出，但它们在动作定位精度方面仍面临挑战。在我们的初步测试中，它们并未满足我们的要求。
### III. 将人类手部视频转换为VLA数据
现有的机器人操控V-L-A数据[^1] [^2] [^3] [^4] [^5]通常由简单、短时间跨度的任务组成（例如“拿起桌上的海绵”、“用布擦拭炉灶”），这些任务可由高层规划器组合成长时间跨度的任务。每条数据样本包含语言指令、视频帧序列，以及机器人或摄像头坐标系中末端执行器的、与帧对齐的3D动作片段。我们的方法会分析无脚本的人类视频，并生成这种格式的V-L-A数据，将两只人手视为末端执行器。整个框架包含三个阶段，其概览如图2所示。
### A. 3D运动标注
我们方法的第一阶段是从视频中提取3D运动，包括两只手和摄像头的运动。为实现这一点，我们首先应用一个简单的算法，根据背景光流来判断摄像头是静止还是移动。
---
接着，我们为移动摄像头应用DroidCalib [^71]来估算视频的摄像头内参，为静态摄像头则使用MoGe-2 [^72]和DeepCalib [^73]。随后对视频进行畸变校正，使其符合针孔相机模型。有了内参和校正后的视频，我们便继续进行视频手部重建和摄像头位姿跟踪。对于前者，我们采用HaWoR [^74]来重建每帧的摄像头空间3D手部模型。每个重建的手部模型包含腕部的6D位姿，以及用MANO [^75]参数模型表示的关节角度。为了跟踪移动摄像头的位姿，我们采用了修改版的MegaSAM [^76]，将提供深度先验的深度估计模型替换为MoGe-2 [^72]。随后，通过结合摄像头空间的3D手部模型和摄像头位姿，我们就能得到一系列世界空间的3D手部模型。
### B. 原子动作分割
世界空间的3D手部序列可以轻松转换到任意视频帧的摄像头空间中，从而有效模拟大多数机器人数据中使用的静态摄像头环境。此外，它还有助于后续的原子动作分割和指令标注，具体细节将在后文介绍。为提高效率，这一阶段会将长视频切分为重叠的20秒片段，再整合各片段的处理结果。
本阶段旨在从长视频中分割出简单的、原子级别的手部动作序列。实现这一目标的核心思路是利用恢复出的三维手部运动数据。在动作转换期间，人手通常会表现出速度变化，而速度最小值往往对应着动作切换点。基于这一观察，我们设计了如下简单却出奇有效的算法：检测三维手腕在世界坐标系中的速度最小值，并将其作为切割点。我们对手部轨迹进行平滑处理，选取以各点为圆心、固定窗口内的局部速度最小值点。左右手分别独立进行分割，忽略另一只手的运动。通过这种方式，每个片段都能捕捉到至少一只手的完整原子动作。
值得注意的是，该方法效率极高，无需额外的模型推理或预标注的文本标签，因此特别适用于手部活动视频的大规模分割任务。
### C. 指令标注
给定视频片段和三维手部动作序列后，我们生成可视化结果，并利用GPT-4.1 [^77] 进行动作描述生成。我们从每个片段中均匀采样8帧，通过在每一帧上投影手掌从当前帧到视频结尾的世界坐标轨迹来突出显示手部轨迹（示例见图2）。随后将这些帧输入GPT，提示其结合帧内容以及叠加的轨迹信息，以祈使句形式描述指定手部的动作。我们还要求GPT将缺乏语义明确动作的片段标记为“N/A”。
手部视觉-语言-动作数据集的构建。我们通过处理以人体为中心的视频来构建大规模人手视觉-语言-动作数据集——
Fig. 3: Our VLA model architecture.
这些数据来自Ego4D [^78]、Epic-Kitchen [^79]、EgoExo4D [^80] 以及Something-Something-V2 (SSV2) [^81]。需注意，这些数据集提供的人体动作标注并未在本研究中使用；相反，我们直接通过所提框架处理原始视频。这些标注往往与所需任务的粒度不匹配，或者缺少动作的确切起止时间。后续实验表明，使用这些标注进行训练会导致性能明显低于我们的方法。我们构建的数据集包含超过100万个片段、2600万帧（其中77%来自Ego4D，12%来自Epic-Kitchen，6%来自EgoExo4D，5%来自SSV2），涵盖了多样的手部动作、物体、属性及环境，涉及烹饪、清洁、建筑、维修、手工制作和绘画等现实生活活动（见图1）。
### IV. 灵巧手视觉-语言-动作模型
我们为灵巧操作构建了一个视觉-语言-动作模型 $\pi$：
$$ \pi:(l,o_{t},s_{t})\to(a_{t},a_{t+1},...,a_{t+N}), $$
该模型根据当前的视觉观测 $o_{t}$、机器人本体感知状态 $s_{t}$ 以及语言指令l，预测一系列未来的末端执行器动作a。
### A. 视觉-语言-动作模型设计
1) 模型架构：图3展示了我们模型架构的概览。我们的模型由VLM主干网络和扩散动作专家组成。我们采用PaliGemma2 [^82]作为VLM，它结合了SigLIP [^83]视觉编码器与用于对齐的线性投影层，以及Gemma2 [^84]语言模型。我们默认使用参数为3B、输入图像分辨率为$224^2$的模型。我们还将相机视场角信息作为额外标记融入模型。遵循[^26]的做法，我们在VLM的输入中加入了可学习的“认知”标记，其输出特征$f^c$则作为动作专家的条件输入。
对于动作专家，我们采用了扩散变换器（DiT）[^85]，具体使用DiT-Base模型。输入是认知特征$f^c$、手部状态$s_t$以及含噪动作块$(a_t^i, a_{t+1}^i, \ldots, a_{t+N}^i)$的拼接结果，其中i表示去噪步骤。手部状态包括相机坐标系下的手腕平移与旋转，以及手部关节角度。我们还通过AdaLN [^85]将认知特征注入DiT，以增强条件化效果。
---
动作专家负责预测用于迭代去噪的添加噪声，其训练通过优化MSE损失$\mathbb{E}_{\epsilon \sim \mathcal{N}(0,1), i} \|\hat{\epsilon}^i - \epsilon\|_2$来实现，其中$\hat{\epsilon}^i$和$\epsilon$分别代表预测的噪声和真实噪声。除了保持冻结状态的视觉编码器外，动作专家与VLM采用端到端训练方式。
2) 手部动作空间：我们的模型在当前观测的相机坐标系下预测手部动作$o_{t}$。在时间步t，手部动作$a_{t}$定义为：
$$ \boldsymbol{a}_{t}=[\Delta t^{l},\Delta r^{l},\boldsymbol{\theta}_{h}^{l},\Delta t^{r},\Delta r^{r},\boldsymbol{\theta}_{h}^{r}]\in\mathbb{R}^{102}, $$
其中$\Delta t \in \mathbb{R}^3$和$\Delta r \in \mathbb{R}^3$分别表示连续帧间的相对手腕平移与旋转，$\theta_h \in \mathbb{R}^{15 \times 3}$代表MANO手模局部坐标系中15个关节的角度（见图5）。上标l和r分别指代左手和右手。
3) 统一的单手和双手动作预测：我们的VLA预训练数据基于单手原子动作级别，部分片段中包含重叠的双手动作。我们采用以下设计来统一处理不同情况。具体而言，VLM始终接收格式为“左手：<左手动作>；右手：<右手动作>”的语言指令。对于视频帧$o_t$，左手和右手的动作描述会被设置为None，或者设为chuck $o_t$所属对应原子动作的指令，同时额外的动作掩码（0或1）会与含噪动作一起作为动作专家的输入（见图3）。
4) 因果动作去噪：人类手部在现实活动中运动迅速，我们预训练数据集中的许多动作片段时长仅为1秒（$\sim$30帧）。因此，VLA模型的许多预测块会超出合理块长度所对应的片段末尾（例如在我们的设置中N=16）。若在末尾用零动作填充，可能会引发问题，因为许多原子动作发生在任务中途，不应以无运动结束（比如擦拭任务中手部会来回移动）。为解决这一问题，我们采用因果注意力机制进行动作去噪，确保每个动作步骤的标记仅关注此前的行为。这能防止双向注意力机制中零填充位置影响早期的预测结果。
### B. 基于人类手部VLA数据的预训练
我们对训练图像和动作应用轨迹感知的增强技术，以提升模型的泛化能力。具体而言，输入图像会被随机裁剪并进行透视变换，变换参数包括不同的视场角、宽高比以及裁剪中心，同时保证主点在图像中心。动作序列也会相应变换，以匹配增强后的相机参数。在随机裁剪过程中，我们确保从当前帧到情节结束的手部轨迹投影始终位于裁剪后的图像范围内。采用这种策略后，交互物体也大多能被完整包含在图像中。此外，我们还会对图像进行随机翻转，并对手部动作和语言指令做出相应调整。
TABLE I: Evaluation and ablation study of hand action prediction for the pretrained model. Note that [^19] is a concurrent work to ours. See text for details.
| Method | Grasp | General action |
| $\left| Avg./med. d_{hand-obj} (cm) \downarrow \right|$ | User Score $\uparrow$ |
| Initial position | 20.0 / 20.0 | - |
| Being-H0 (8B) [^19] | 19.1 / 18.4 | 0.15 |
| Ablations | | |
| Lab data (EgoDex) | 17.6 / 18.3 | - |
| Human annotation | 14.1 / 14.1 | 0.96 |
| No augmentation | 11.6 / 10.7 | 1.43 |
| Bidirectional attention | 9.3 / 7.2 | 1.69 |
| Ours | 8.8 / 6.2 | 1.91 |
Fig. 4: Examples of environments used in evaluation.
### C. 机器人灵巧操作微调
预训练完成后，模型可在机器人数据上微调以便部署。我们将人类手部动作空间视为机器人手部动作空间的超集，并按照公式(2)的定义将机器人的动作空间与人类手部动作空间对齐。具体而言，利用相机坐标系下的机器人末端执行器6D位姿来计算$\Delta t$和$\Delta r$。对于关节角度，我们采用简单的映射策略：将机器人手部的每个关节映射到拓扑结构中最接近的人类关节，再使用人类动作$\theta_h$中对应的维度进行微调。$\theta_h$中未被映射的维度会填充为0，并在动作掩码中被标记为无效。
补充说明：过去已有大量研究致力于人类手部与灵巧机器人手部之间的动作空间映射问题[^40] [^41] [^42]。我们并未采用直接姿态迁移的方式（如遥操作中所用），而通过微调来缩小两者间的动作空间差异。其他相关策略也可被采用，这我们将作为未来的研究方向。
### V. 实验
计算成本方面，3D运动标注工作使用了200块NVIDIA V100 GPU，耗时约一周。模型训练阶段中，预训练在8块NVIDIA H100 GPU上进行，批量大小为512，耗时约两天；微调则在同样的8块NVIDIA H100 GPU上进行，批量大小为256，耗时约8小时。在真实机器人部署时，策略模型运行在单块NVIDIA RTX 4090 GPU上。
### A. 人类手部动作预测
1) 基准测试：我们构建了基准测试来评估预训练的VLA模型在未见过的环境中对人类手部动作的预测能力。我们设计了两类任务：a) 抓取任务：我们指示模型抓取场景中的物体。我们从47个未见过的环境中采集RGB-D图像，并为396个物体标注说明文字及分割后的3D点云。我们在适合单次动作完成物体抓取的距离处，将合成的人类手部渲染到图像上（见图4）。我们计算
---
TABLE II: Success rates on real-world robot dexterous manipulation tasks (in %)
| Method | Seen | Average | Unseen Object & Background | Unseen Category | Average |
| Pick & place (40 trials) | Functional grasp (24 trials) | Pour (8 trials) | Sweep (8 trials) | Pick & place (16 trials) | Functional grasp (16 trials) | Pour (8 trials) | Pick & place (24 trials) |
| VPP [^12] | 57.5 | 29.2 | 12.5 | 0.0 | 24.8 | 12.5 | 0.0 | 0.0 | 8.3 | 5.2 |
| $\pi_0$ [^25] | 37.5 | 25.0 | 75.0 | 50.0 | 46.9 | 0.0 | 6.2 | 25.0 | 33.3 | 16.1 |
| No VLA pretrain | 32.5 | 33.3 | 12.5 | 50.0 | 32.1 | 31.2 | 0.0 | 0.0 | 12.5 | 10.9 |
| Latent action pretrain | 42.5 | 41.7 | 37.5 | 62.5 | 46.0 | 0.0 | 0.0 | 0.0 | 0.0 | 0.0 |
| OXE pretrain | 40.0 | 37.5 | 62.5 | 25.0 | 41.3 | 12.5 | 6.3 | 0.0 | 12.5 | 7.8 |
| Ours | 80.0 | 66.7 | 75.0 | 62.5 | 71.0 | 68.8 | 68.8 | 50.0 | 70.8 | 64.6 |
(a)
(b)
(c)
Fig. 5: (a) Robot setup. (b) Mapping between XHand and MANO, where joints sharing the same index indicate correspondence; white color denotes joints without counterparts. (c) Fine-tuning objects/environment and unseen objects/background for evaluation.
预测手指轨迹与目标物体点之间的最小距离，以此评估动作合理性。b) 通用动作任务：我们还利用117个用手机拍摄的未见过的真实生活场景来评估接触前后手部动作（见图1）。对于每个场景，我们向模型提供标注好的指令，并将预测的手部动作渲染到视频帧上。我们邀请了23名参与者进行用户研究，让他们为随机选取的30个场景中的前3个动作排序。这3个动作分别得分为3、2、1，其余动作得分为0。我们报告所有参与者的平均得分。
2) 基线方法：我们将我们的模型与几种基线方法进行比较，以验证我们的数据和预训练设计的有效性。这些基线包括：a) 实验室数据，它用包含超过30万条在实验室环境中采集的手部VLA片段的EgoDex [^86] 视频来替换我们的VLA数据；b) 人工标注，利用原始人类视频数据集中的人工标注来构建VLA片段（如前所述，这些标注往往与期望的任务粒度不匹配，也没有精确的起始和结束时间）；c) 无增强，即丢弃轨迹感知的数据增强策略；d) 双向注意力，为动作专家采用双向注意力机制；e) Being-H0 [^19]，这是一种最近提出的手部VLA模型，它在大量脚本化的实验室人类视频数据上进行了预训练。
3) 结果：图1展示了我们的模型在这些未见过的环境中的动作预测结果，显示出其对多种场景的强大泛化能力。表I报告了定量结果。对于抓取任务，我们将初始手-物体距离作为参考。对于一般动作任务，由于该模型仅使用EgoDex提供的标签来预测关键点，因此未纳入实验室数据基线。与在EgoDex数据上训练的模型相比，我们的模型表现出更强的泛化能力。使用原始人工标注进行训练的效果也较差，因为文本与动作之间的时间或粒度不匹配会削弱指令遵循能力。用双向注意力替换因果注意力或去除增强策略都会降低性能，这凸显了这些技术设计的重要性。
### B. 现实世界机器人灵巧操作
1) 机器人配置：我们使用配备12自由度XHand灵巧手的Realman机器人以及RealSense头戴式摄像头，如图5(a)所示。用于微调的XHand与人类手部之间的关节映射关系如图5(b)所示。
2) 任务设计：我们为四项任务收集了1200条遥操作轨迹：i) 通用拾取与放置——将物体放入盒子中，过程中有3-4个干扰物；ii) 功能性抓取——在功能位置（如把手处）抓取物体；iii) 倾倒——拿起瓶子，将其中的液体倒入另一个容器，再放好；iv) 清扫——拿起扫帚，把垃圾扫进簸箕，再放回原处。在评估时，我们在可见和不可见场景下执行上述四项任务（可见和不可见物体及背景见图5(c)）：a) 可见场景：物体和背景在微调阶段已出现过，但位置和干扰物是随机的；b) 不可见场景：用于评估的全新物体和背景，包含两种额外设置：不可见物体，即物体是新的，但同类别的其他物体在微调阶段见过；不可见类别，即物体属于此前未接触过的类别。
3) 结果与现有技术对比：图1展示了我们方法的一些代表性执行结果。为了进行定量比较，我们将我们的方法与几种现有方法进行对比：a) 无VLA预训练，直接在我们的模型（以Paligemma-2 VLM初始化）基础上进行微调，不进行人类数据预训练；b) 潜在动作预训练，用在我们数据上训练的LAPA [^15] 模型生成的潜在动作替换3D动作标签；c) OXE预训练，使用Open X-Embodiment [^2] 数据而非我们的人类VLA数据；d) VPP [^12]，一种近期提出的灵巧手操作模型，利用基于扩散的视频生成技术 [^87]；e) $\pi_{0}$ [^25]，一种在大规模机器人数据上预训练的VLA模型。
表II对比了不同方法的性能。我们的方法优于所有其他基线，包括潜在…
---
在同一数据集上进行动作预训练。与潜在动作方法相比，我们的方法提供了更明确的行为监督，且预训练与微调之间的差距更小。测试结果显示，VPP模型在指令跟随和未见物体识别方面落后于基于大语言模型的VLA模型。与$\pi_{0}$及OXE预训练方法相比，我们的方法在少样本任务和未见任务上的表现显著更优。OXE数据集包含基于夹持器的机器人数据，其在物体、任务和环境方面的多样性远不及我们的人手V-L-A数据集。我们的模型对未见物体及环境变化展现出强大的泛化能力，甚至对于未见类别的物体也能有效应对，这充分体现了利用人类活动数据进行可泛化VLA学习的有效性。
### 六、结论与局限性
本文提出了一种利用非结构化现实人类活动视频来预训练机器人操控VLA模型的新方法。我们开发了一套全自动流程，可将自然场景中的第一人称视角人类视频转化为与现有机器人演示数据对齐的原子级VLA数据。我们还设计了具有针对性训练策略的灵巧手VLA模型，以便有效利用人类数据进行预训练。实验表明，我们的预训练模型在未见真实环境中表现出强大的零样本性能，且在有限的机器人数据上微调后能取得很高的任务成功率，这证明了该方法在可泛化VLA预训练领域具有极高的前景和可扩展性。
尽管取得了这些令人鼓舞的成果，我们的方法仍存在若干局限性。首先，所提出的数据转换流程的准确性依赖于标注工具，这不可避免地会引入噪声。尤其是相机坐标系下的手部姿态估计依赖于HaWoR [^74]，其性能直接决定了我们的重建精度。关于原子动作分割和指令标注的准确性，我们随机选取了500个片段进行人工验证，其中88%的片段分割和描述较为合理。我们也观察到了数据转换流程中的几种常见故障模式：（1）当手部部分被遮挡时，重建的手部姿态误差较大；（2）当视频中出现多人的手时，流程可能会错误地将属于不同个体的手进行重建；（3）佩戴颜色特殊的手套时，手部可能无法被检测到；（4）GPT-4.1 [^77]偶尔会误判手指类型，比如将中指误认为食指。解决这些局限性仍是未来研究的重要方向。
## 参考文献
[^1]: B. Zitkovich, T. Yu, S. Xu, P. Xu, et al., "RT-2: Vision-language-action models transfer web knowledge to robotic control," in CoRL, 2023.
[^2]: A. O'Neill, A. Rehman, A. Maddukuri, A. Gupta, A. Padalkar, A. Lee, A. Pooley, A. Gupta, A. Mandlekar, et al., "Open X-Embodiment: Robotic learning datasets and RT-X models," in ICRA, 2024.
[^3]: Q. Bu, J. Cai, L. Chen, X. Cui, Y. Ding, S. Feng, X. He, X. Huang, et al., “AgiBot World Colosseo: A large-scale manipulation platform for scalable and intelligent embodied systems,” in IROS, 2025.
[^4]: A. Khazatsky, K. Pertsch, S. Nair, et al., "DROID: A large-scale in-the-wild robot manipulation dataset," arXiv:2403.12945, 2024.
[^5]: H.-S. Fang, H. Fang, Z. Tang, J. Liu, et al., “RH20T: A comprehensive robotic dataset for learning diverse skills in one-shot,” in ICRA, 2024.
[^6]: Y. Qin, Y.-H. Wu, S. Liu, et al., “DexMV: Imitation learning for dexterous manipulation from human videos,” in ECCV, 2022.
[^7]: T. Xiao, I. Radosavovic, T. Darrell, and J. Malik, “Masked visual pretraining for motor control,” arXiv:2203.06173, 2022.
[^8]: Y. J. Ma, S. Sodhani, D. Jayaraman, O. Bastani, V. Kumar, and A. Zhang, "VIP: Towards universal visual reward and representation via value-implicit pre-training," in ICLR, 2023.
[^9]: S. Nair, A. Rajeswaran, V. Kumar, C. Finn, et al., "R3M: A universal visual representation for robot manipulation," in CoRL, 2023.
[^10]: C. Wang, L. Fan, J. Sun, R. Zhang, L. Fei-Fei, D. Xu, Y. Zhu, and A. Anandkumar, “MimicPlay: Long-horizon imitation learning by watching human play,” in CoRL, 2023.
[^11]: K. Shaw, S. Bahl, and D. Pathak, “VideoDex: Learning dexterity from internet videos,” in CoRL, 2023.
[^12]: Y. Hu, Y. Guo, P. Wang, X. Chen, Y.-J. Wang, J. Zhang, K. Sreenath, C. Lu, and J. Chen, "Video prediction policy: A generalist robot policy with predictive visual representations," in ICML, 2025.
[^13]: S. Bahl, R. Mendonca, L. Chen, et al., “Affordances from human videos as a versatile representation for robotics,” in CVPR, 2023.
[^14]: J. Yang, R. Tan, Q. Wu, R. Zheng, B. Peng, Y. Liang, Y. Gu, M. Cai, S. Ye, J. Jang, et al., “Magma: A foundation model for multimodal AI agents,” in CVPR, 2025.
[^15]: S. Ye, J. Jang, B. Jeon, S. J. Joo, J. Yang, B. Peng, A. Mandlekar, et al., “Latent action pretraining from videos,” in ICLR, 2025.
[^16]: X. Chen, J. Guo, T. He, C. Zhang, P. Zhang, D. C. Yang, L. Zhao, and J. Bian, "IGOR: Image-goal representations are the atomic control units for foundation models in embodied ai," arXiv:2411.00785, 2024.
[^17]: J. Bjorck, F. Castañeda, N. Cherniadev, X. Da, R. Ding, L. Fan, Y. Fang, D. Fox, F. Hu, et al., “GR00T N1: An open foundation model for generalist humanoid robots,” arXiv:2503.14734, 2025.
[^18]: R. Yang, Q. Yu, Y. Wu, R. Yan, B. Li, A.-C. Cheng, X. Zou, Y. Fang, X. Cheng, et al., “EgoVLA: Learning vision-language-action models from egocentric human videos,” arXiv:2507.12440, 2025.
[^19]: H. Luo, Y. Feng, W. Zhang, S. Zheng, Y. Wang, H. Yuan, J. Liu, C. Xu, Q. Jin, and Z. Lu, “Being-H0: vision-language-action pretraining from large-scale human videos,” arXiv:2507.15597, 2025.
[^20]: H. Bi, L. Wu, T. Lin, H. Tan, et al., “H-RDT: Human manipulation enhanced bimanual robotic manipulation,” arXiv:2507.23523, 2025.
[^21]: A. Brohan, N. Brown, J. Carbajal, Y. Chebotar, J. Dabis, C. Finn, K. Gopalakrishnan, et al., “RT-1: Robotics transformer for real-world control at scale,” arXiv:2212.06817, 2022.
[^22]: M. J. Kim, K. Pertsch, S. Karamcheti, T. Xiao, A. Balakrishna, S. Nair, R. Rafailov, E. Foster, G. Lam, P. Sanketi, et al., “OpenVLA: An open-source vision-language-action model,” arXiv:2406.09246, 2024.
[^23]: O. M. Team, D. Ghosh, H. Walke, K. Pertsch, K. Black, O. Mees, S. Dasari, J. Hejna, T. Kreiman, C. Xu, et al., “Octo: An open-source generalist robot policy,” arXiv:2405.12213, 2024.
[^24]: X. Li, M. Liu, H. Zhang, C. Yu, J. Xu, H. Wu, et al., “Vision-language foundation models as effective robot imitators,” in ICLR, 2022.
[^25]: K. Black, N. Brown, D. Driess, A. Esmail, M. Equi, C. Finn, N. Fusai, L. Groom, K. Hausman, B. Ichter, et al., “$\pi_{0}$: A vision-language-action flow model for general robot control,” arXiv:2410.24164.
[^26]: Q. Li, Y. Liang, Z. Wang, L. Luo, X. Chen, et al., “CogACT: A foundational vision-language-action model for synergizing cognition and action in robotic manipulation,” arXiv:2411.19650, 2024.
[^27]: S. Liu, L. Wu, B. Li, H. Tan, H. Chen, Z. Wang, K. Xu, H. Su, and J. Zhu, "RDT-1B: A diffusion foundation model for bimanual manipulation," ICLR, 2025.
[^28]: P. Intelligence, K. Black, N. Brown, J. Darpinian, K. Dhabalia, D. Driess, et al., “$\pi_{0.5}$: a vision-language-action model with open-world generalization,” arXiv:2504.16054, 2025.
[^29]: D. Qu, H. Song, Q. Chen, Y. Yao, X. Ye, Y. Ding, Z. Wang, J. Gu, B. Zhao, et al., “SpatialVLA: Exploring spatial representations for visual-language-action model,” arXiv:2501.15830, 2025.
[^30]: J. Wen, Y. Zhu, J. Li, Z. Tang, C. Shen, and F. Feng, “DexVLA: Vision-language model with plug-in diffusion expert for general robot control,” in CoRL, 2025.
[^31]: S. Deng, M. Yan, S. Wei, H. Ma, Y. Yang, J. Chen, Z. Zhang, T. Yang, X. Zhang, et al., “GraspVLA: a grasping foundation model pre-trained on billion-scale synthetic action data,” arXiv:2505.03233, 2025.
## [^32]: Q. Bu, Y. Yang, J. Cai, S. Gao, G. Ren, M. Yao, P. Luo, and H. Li, “Learning to act anywhere with task-centric latent actions,” arXiv:2502.14420, 2025
---
[^33]: H. Wu, Y. Jing, C. Cheang, G. Chen, J. Xu, X. Li, M. Liu, H. Li, and T. Kong, "Unleashing large-scale video generative pre-training for visual robot manipulation," arXiv:2312.13139, 2023.
[^34]: C.-L. Cheang, G. Chen, Y. Jing, T. Kong, H. Li, Y. Li, Y. Liu, et al., “GR-2: A generative video-language-action model with web-scale knowledge for robot manipulation,” arXiv:2410.06158, 2024.
[^35]: I. Akkaya, M. Andrychowicz, M. Chociej, M. Litwin, et al., “Solving rubik's cube with a robot hand,” arXiv:1910.07113, 2019.
[^36]: O. M. Andrychowicz, B. Baker, M. Chociej, R. Jozefowicz, B. McGrew, J. Pachocki, A. Petron, M. Plappert, G. Powell, A. Ray, et al., “Learning dexterous in-hand manipulation,” IJRR, 2020.
[^38]: A. Rajeswaran, V. Kumar, A. Gupta, G. Vezzani, J. Schulman, E. Todorov, and S. Levine, “Learning complex dexterous manipulation with deep reinforcement learning and demonstrations,” RSS, 2018.
[^39]: D. Jain, A. Li, S. Singhal, A. Rajeswaran, et al., “Learning deep visuomotor policies for dexterous hand manipulation,” in ICRA, 2019.
[^40]: A. Handa, K. Van Wyk, W. Yang, J. Liang, Y.-W. Chao, Q. Wan, S. Birchfield, N. Ratliff, and D. Fox, "DexPilot: Vision-based teleoperation of dexterous robotic hand-arm system," in ICRA, 2020.
[^42]: R.-Z. Qiu, S. Yang, X. Cheng, C. Chawla, J. Li, T. He, G. Yan, D. J. Yoon, R. Hoque, L. Paulsen, et al., “Humanoid policy~human policy,” arXiv:2503.13441, 2025.
[^41]: C. Wang, H. Shi, W. Wang, R. Zhang, L. Fei-Fei, and K. Liu, "DexCap: Scalable and portable mocap data collection system for dexterous manipulation," in RSS Workshop, 2024.
[^43]: S. Kareer, D. Patel, R. Punamiya, P. Mathur, S. Cheng, C. Wang, J. Hoffman, and D. Xu, “EgoMimic: Scaling imitation learning via egocentric video,” in ICRA, 2025.
[^44]: S. Park, S. Lee, M. Choi, J. Lee, J. Kim, J. Kim, and H. Joo, “Learning to transfer human hand skills for robot manipulations,” arXiv:2501.04169, 2025.
[^45]: Y. Zhong, X. Huang, R. Li, C. Zhang, Z. Chen, T. Guan, F. Zeng, K. N. Lui, et al., “DexGraspVLA: A vision-language-action framework towards general dexterous grasping,” arXiv:2502.20900, 2025.
[^47]: J. Yang, B. Liu, J. Fu, B. Pan, G. Wu, et al., “Spatiotemporal predictive pre-training for robotic motor control,” arXiv:2403.05304, 2024.
[^46]: V. de Bakker, J. Hejna, T. G. W. Lum, O. Celik, A. Taranovic, D. Blessing, G. Neumann, J. Bohg, and D. Sadigh, “Scaffolding dexterous manipulation with vision-language models,” arXiv:2506.19212, 2025.
[^48]: Z. Q. Chen, K. Van Wyk, Y.-W. Chao, W. Yang, A. Mousavian, et al., “DexTransfer: Real world multi-fingered dexterous grasping with minimal human demonstrations,” arXiv:2209.14284, 2022.
[^49]: Z. Chen, S. Chen, A. Etienne, I. Laptev, and C. Schmid, “ViViDex: Learning vision-based dexterous manipulation from human videos,” in ICRA, 2025.
[^50]: A. Patel, A. Wang, I. Radosavovic, and J. Malik, “Learning to imitate object interactions from internet videos,” arXiv:2211.13225, 2022.
[^51]: P. Mandikal and K. Grauman, “DexVIP: Learning dexterous grasping with human hand pose priors from video,” in CoRL, 2022.
[^52]: A. Kannan, K. Shaw, S. Bahl, P. Mannam, and D. Pathak, “DEFT: Dexterous fine-tuning for hand policies,” in CoRL, 2023.
[^53]: H. Chen, B. Sxun, A. Zhang, M. Pollefeys, and S. Leutenegger, "VidBot: Learning generalizable 3d actions from in-the-wild 2d human videos for zero-shot robotic manipulation," in CVPR, 2025.
[^54]: H. Bharadhwaj, R. Mottaghi, A. Gupta, and S. Tulsiani, "Track2Act: Predicting point tracks from internet videos enables generalizable robot manipulation," in ECCV, 2024.
[^55]: C. Wen, X. Lin, J. So, K. Chen, Q. Dou, et al., "Any-point trajectory modeling for policy learning," arXiv:2401.00025, 2023.
[^56]: H. G. Singh, A. Loquercio, C. Sferrazza, J. Wu, H. Qi, et al., “Hand-object interaction pretraining from videos,” in ICRA, 2025.
[^57]: R. Zheng, J. Wang, S. Reed, J. Bjorck, Y. Fang, F. Hu, J. Jang, K. Kundalia, Z. Lin, L. Magne, et al., "FLARE: Robot learning with implicit world modeling," arXiv:2505.15659, 2025.
[^58]: Q. Bu, Y. Yang, J. Cai, S. Gao, G. Ren, M. Yao, P. Luo, and H. Li, "UniVLA: Learning to act anywhere with task-centric latent actions," arXiv:2505.06111, 2025.
[^59]: H. Xiong, Q. Li, Y.-C. Chen, H. Bharadhwaj, S. Sinha, and A. Garg, "Learning by watching: Physical imitation of manipulation skills from human videos," in IROS, 2021.
[^60]: S. Xie, H. Cao, Z. Weng, Z. Xing, H. Chen, S. Shen, J. Leng, Z. Wu, and Y.-G. Jiang, “Human2Robot: Learning robot actions from paired human-robot videos,” arXiv:2502.16587, 2025.
[^61]: H. Bharadhwaj, D. Dwibedi, A. Gupta, S. Tulsiani, C. Doersch, T. Xiao, et al., “Gen2Act: Human video generation in novel scenarios enables generalizable robot manipulation,” arXiv:2409.16283, 2024.
[^62]: R. Mendonca, S. Bahl, and D. Pathak, “Structured world models from human videos,” in RSS, 2023.
[^63]: J. Jang, S. Ye, Z. Lin, J. Xiang, J. Bjorck, Y. Fang, F. Hu, S. Huang, K. Kundalia, et al., “DreamGen: Unlocking generalization in robot learning through video world models,” arXiv:2505.12705, 2025.
[^64]: L. Wang, Y. Qiao, X. Tang, et al., “Action recognition and detection by combining motion and appearance features,” THUMOS14 Action Recognition Challenge, 2014.
[^65]: Z. Shou, D. Wang, and S.-F. Chang, “Temporal action localization in untrimmed videos via multi-stage cnns,” in CVPR, 2016.
[^66]: Y. A. Farha and J. Gall, “MS-TCN: Multi-stage temporal convolutional network for action segmentation,” in CVPR, 2019.
[^67]: C.-L. Zhang, J. Wu, and Y. Li, “ActionFormer: Localizing moments of actions with transformers,” in ECCV, 2022.
[^68]: D. Liu, Q. Li, A.-D. Dinh, T. Jiang, M. Shah, and C. Xu, “Diffusion action segmentation,” in ICCV, 2023.
[^69]: J. Chen, Z. Lv, S. Wu, K. Q. Lin, C. Song, D. Gao, J.-W. Liu, Z. Gao, D. Mao, and M. Z. Shou, "VideoLLM-Online: Online video large language model for streaming video," in CVPR, 2024.
[^70]: G. Chen, Y.-D. Zheng, J. Wang, J. Xu, Y. Huang, J. Pan, Y. Wang, Y. Wang, Y. Qiao, T. Lu, et al., "Videollm: Modeling video sequence with large language models," arXiv:2305.13292, 2023.
[^71]: A. Hagemann, M. Knorr, and C. Stiller, “Deep geometry-aware camera self-calibration from video,” in ICCV, 2023.
[^72]: R. Wang, S. Xu, Y. Dong, Y. Deng, J. Xiang, Z. Lv, G. Sun, X. Tong, and J. Yang, "MoGe-2: Accurate monocular geometry with metric scale and sharp details," arXiv:2507.02546, 2025.
[^73]: O. Bogdan, V. Eckstein, F. Rameau, and J.-C. Bazin, “DeepCalib: A deep learning approach for automatic intrinsic calibration of wide field-of-view cameras,” in CVMP, 2018.
[^74]: J. Zhang, J. Deng, C. Ma, and R. A. Potamias, “HaWoR: World-space hand motion reconstruction from egocentric videos,” in CVPR, 2025.
[^75]: J. Romero, D. Tzionas, and M. J. Black, “Embodied hands: modeling and capturing hands and bodies together,” TOG, 2017.
[^76]: Z. Li, R. Tucker, F. Cole, Q. Wang, L. Jin, V. Ye, A. Kanazawa, A. Holynski, and N. Snavely, “MegaSaM: Accurate, fast and robust structure and motion from casual dynamic videos,” in CVPR, 2025.
[^77]: J. Achiam, S. Adler, S. Agarwal, L. Ahmad, I. Akkaya, F. L. Aleman, D. Almeida, J. Altenschmidt, S. Altman, S. Anadkat, et al., “GPT-4 technical report,” arXiv:2303.08774, 2023.
[^78]: K. Grauman, A. Westbury, E. Byrne, Z. Chavis, A. Furnari, R. Girdhar, J. Hamburger, H. Jiang, M. Liu, X. Liu, et al., “Ego4D: Around the world in 3,000 hours of egocentric video,” in CVPR, 2022.
[^79]: D. Damen, H. Doughty, G. M. Farinella, S. Fidler, A. Furnari, E. Kazakos, D. Moltisanti, J. Munro, et al., “The EPIC-KITCHENS dataset: Collection, challenges and baselines,” TPAMI, 2020.
[^80]: K. Grauman, A. Westbury, L. Torresani, K. Kitani, J. Malik, T. Afouras, et al., “Ego-Exo4D: Understanding skilled human activity from first-and third-person perspectives,” in CVPR, 2024.
[^81]: R. Goyal, S. Ebrahimi Kahou, V. Michalski, J. Materzynska, S. Westphal, H. Kim, V. Haenel, I. Fruend, P. Yianilos, M. Mueller-Freitag, et al., “The” something something” video database for learning and evaluating visual common sense,” in ICCV, 2017.
[^82]: A. Steiner, A. S. Pinto, M. Tschannen, D. Keysers, X. Wang, Y. Bitton, et al., “Paligemma 2: A family of versatile vlms for transfer,” arXiv:2412.03555, 2024.
[^83]: X. Zhai, B. Mustafa, A. Kolesnikov, and L. Beyer, “Sigmoid loss for language image pre-training,” in ICCV, 2023.
[^84]: G. Team, M. Riviere, S. Pathak, P. G. Sessa, C. Hardin, S. Bhupatiraju, L. Hussenot, T. Mesnard, B. Shahriari, et al., “Gemma 2: Improving open language models at a practical size,” arXiv:2408.00118, 2024.
[^85]: W. Peebles and S. Xie, “Scalable diffusion models with transformers,” in ICCV, 2023.
[^86]: R. Hoque, P. Huang, D. J. Yoon, M. Sivapurapu, and J. Zhang, “EgoDex: Learning dexterous manipulation from large-scale egocentric video,” arXiv:2505.11709, 2025.
[^87]: A. Blattmann, T. Dockhorn, S. Kulal, D. Mendelevitch, M. Kilian, D. Lorenz, Y. Levi, et al., “Stable video diffusion: Scaling latent video diffusion models to large datasets,” arXiv:2311.15127, 2023.