# Wh0：生成式世界模型作为可扩展的以自我为中心的双手操作数据来源
陈阳涛 $^{*1,2}$、陈子轩 $^{*2}$、王沛洋 $^{*2}$、李永卢 $^{\dagger1,3}$、霍静 $^{\dagger2}$、施杰奇 $^{2}$、高阳 $^{2}$
$^{1}$上海创新研究院、$^{2}$南京大学、$^{3}$上海交通大学
摘要：要实现灵巧操作能力的规模化，需要模型能够泛化到不同的物体、场景和任务上。然而，现有的数据源在规模与场景/实体一致性之间难以兼顾：遥操作数据虽与机器人部署高度匹配，但采集成本高昂；仿真数据虽然可扩展，却受限于仿真到现实之间的差距；真实的以自我为中心的视频数据虽能实现规模化，却与机器人部署不匹配。我们提出了$\mathbf{Wh0}$，这是一个利用生成式视频世界模型作为可扩展且可控的以自我为中心的人手操作数据源的框架，旨在解锁预训练灵巧VLA模型的操控能力。在语言、物体和场景条件的约束下，$\mathbf{Wh0}$利用生成式世界模型生成WM-H数据集，该数据集包含5万条以自我为中心的人与物体交互视频。随后，$\mathbf{Wh0}$通过手部运动重建和视觉编辑，将生成的视频转化为可供机器人训练的监督信号。借助少量真实机器人数据联合训练后，WM-H能使预训练的VLA模型适配灵巧操作场景。在18项真实世界的灵巧操作任务中，与仅用机器人数据微调的模型相比，$\mathbf{Wh0}$将未见任务的零样本成功率从8.3%提升至38.9%。消融实验进一步表明，可扩展的生成能力和场景/实体一致性是性能提升的关键驱动力。相关视频和开源代码可在我们的项目网站上查看。
## 1 引言
现代 VLA 模型 [^1] [^2] [^3] [^4] 通过利用大规模数据，尤其是第一人称人类视频 [^5] [^6] [^7] [^8] [^9] [^10] [^11] [^12]，实现了强泛化，但在部署到灵巧操作时仍面临场景与具身不对齐。具体而言，日常人类环境 [^13] [^14] 与机器人工作空间不同，从而导致场景差距。同时，第一人称视频中的操作手是人类手而非灵巧机器人手 [^15] [^16]，从而造成具身差距。现有数据来源仅解决了这一权衡的一部分。遥操作与部署对齐，但成本高昂且特定于平台 [^17] [^18]。仿真可扩展，但存在 sim-to-real 差距 [^19] [^20]。真实第一人称视频可扩展，但仍未对齐 [^13] [^21]。理想的数据来源应当可扩展且与部署对齐，同时尽量减少对人类数据采集的依赖。
在本文中，我们将生成式视频世界模型定义为可扩展的、由计算驱动的数据源，用于合成以人为中心的双手操作数据。它们的主要优势并不在于精确模拟机器人动力学，而在于能够根据语言、物体和场景条件，按需生成多样化的人-物交互视频 [^22] [^23]。因此，与以往将世界模型用作环境动力学模拟器 [^24] [^25] [^26] [^27]、机器人轨迹视频生成器 [^28] [^29] [^30]、用于后续动作迁移或可操作域推断的双手生成器 [^31] [^32] [^33] [^34]，或是用于训练未来预测策略的骨干网络 [^35] [^36] [^37] 的研究不同，我们重点关注其作为可控数据源的作用。
---
Figure 1: Overview of Wh0. Top: WM-H provides world-model-generated egocentric manipulation videos with diverse objects, layouts, and hand-object interactions. Middle: WM-H uniquely combines scale with low scene & embodiment gap to deployment; Wh0 converts them to robot-trainable supervision and co-trains with limited robot data atop a human-video-pretrained VLA. Bottom: The resulting policy zero-shot generalizes to unseen tasks, environments, and instructions in real-world manipulation.
这类双手数据生成器使得场景、物体、任务类型和身体外观能够成为设计变量，且其规模可随计算能力的提升而扩展，无需依赖人力劳动。
如图1所示，我们通过Wh0这一框架将这一理念付诸实践。该框架利用生成式视频世界模型来构建以人为中心的双手操作数据，从而解锁预训练VLA模型中的灵巧操作能力。Wh0通过自动指令生成、场景与身体形态对齐的视频合成、视觉编辑以及手部运动重建，构建了包含5万个样本、涵盖以人为中心的操作视频、语言指令和3D手部运动标注的WM-H数据集。在后续训练阶段，Wh0会将WM-H与有限的真实机器人遥操作数据共同训练：机器人数据提供特定于实际部署的约束条件，而WM-H则通过统一的手部动作空间和身体形态对齐，将人类操作先验与机器人执行能力衔接起来。
在配备Inspire灵巧手的Unitree G1人形机器人上进行的零样本评估中，仅基于机器人数据训练、且未经测试任务演示的强效VLA基线模型VITRA [^7]，其成功率为
---
8.3%；而与WM-H共同训练后，成功率提升至38.9%，这一提升幅度达到了 $4.7 \times$。消融实验证实，场景与身体形态对齐以及数据规模，是Wh0取得性能提升的主要因素。进一步分析还表明，仅靠有限的机器人数据无法发掘预训练所获得的操作能力，而WM-H能够将其释放出来。
## 2 相关工作
用于灵巧操作的视觉-语言-动作模型。视觉-语言-动作（VLA）模型[^1] [^2] [^3] [^4] [^38] [^39] [^40]通过将视觉-语言模型扩展到机器人控制领域，利用大规模机器人和异构数据来学习通用策略[^17] [^41] [^42]。近期的研究探索了用于灵巧操作的视觉-语言模型，包括分层式VLA框架[^43]以及基于VLM的规划系统[^44]。为了减少对昂贵的实际机器人灵巧操作演示的依赖，以往的研究利用第一人称视角的人类视频[^13] [^21]，通常结合手部重建技术[^45] [^46]，来学习操作先验、可操作区域信息、可迁移的手部动作以及策略表示[^47] [^48] [^49] [^50] [^15] [^6] [^5] [^7] [^51] [^8] [^52]。然而，被动的人类视频难以控制，且与机器人部署场景存在偏差。因此，我们通过可控生成技术构建第一人称视角的人类手部数据，用于训练与部署场景相匹配的VLA模型。
用于机器人操作的世界模型。世界模型在机器人领域已被广泛用作动力学模型、视觉预测器以及策略学习的基础[^24] [^25] [^27]。近期的视频生成方法利用世界模型合成未来的交互视频，并将其转化为机器人监督信号，例如轨迹、点追踪、物体姿态或3D流[^31] [^53] [^33] [^54] [^30] [^26] [^35]。作为通用数据引擎，Cosmos[^23]和GigaWorld[^55]将世界模型视为机器人技术的开发平台。在与灵巧操作更相关的研究中，Large Video Planner能够生成用于动作提取和映射的人类手部或机器人夹爪视频计划[^32]；而Dexterous World Models[^34]和DexWM[^26]则基于第一人称视角的手部运动或人类视频来建模手部驱动的交互动力学。Wh0则将生成的人类手部视频用作训练数据，与有限的实际机器人演示数据共同训练，以提升从人类视频预训练中获得的操作能力的迁移效果。
## 3 通过可控视频合成构建WM-H数据集
我们利用视频世界模型作为可控生成器，来生成以人眼视角拍摄的手部操作数据。该模型根据语言指令、物体规格和场景布局，合成多样化的人与物体交互视频。该流程的可扩展性主要取决于GPU计算能力，而非人力劳动。如图2所示，该流程包含指令生成、场景与身体形态对齐的视频合成，以及手部运动提取，最终产出WM-H：一个包含5万个样本、带有3D手部姿态标注和语言任务描述的人眼视角视频数据集。生成1千个视频大约需要5.44 GPU小时。我们使用名词和形容词的h指数来衡量指令的多样性[^7]，其中h指数表示至少有h个单词各自在至少h个样本中出现的程度。尽管WM-H的规模远小于大规模人类视频数据集[^7] [^6] [^17] [^18]，但它在操作相关类别上覆盖了广泛的内容，在抓取、放置和拿取指令中，名词h指数达到201，形容词h指数达到117。
用于实现均衡多样性的指令生成。我们指令生成流程背后的关键理念是：一个多样化的操作数据集不仅应包含大量不同的单词，还需确保每个单词都有足够的覆盖度[^7]。如果大多数单词出现频率很低，仅增加词汇量是不够的。为了实现广度与频率的平衡，我们采用了图2(1)所示的双智能体系统。第一个智能体利用大型语言模型持续发现与可抓取物品相关的物体名词和属性形容词，从而扩充候选词汇库。第二个智能体优先选取出现频率较低的单词，并利用诸如“pick the {adj} {noun}”这样的结构化模板来组合成自然语言指令。系统会记录单词的使用频率并过滤掉重复的指令，从而实现对（物体，属性）组合空间的系统化且均衡的覆盖。
---
Figure 2: The overview of WM-H data synthesis pipeline.
基于场景与实体一致性对齐的视频合成。给定一条生成的指令，我们通过图2所示的三阶段流程来合成第一人称视角的操作视频。该流程旨在保留视频世界模型中自然的手-物交互模式，同时缩小其与机器人部署之间的视觉差异：(a) 场景图像采集与编辑。我们首先在目标机器人工作区内采集背景图像以实现场景对齐。这些图像由部署摄像头拍摄，其视角和分辨率与策略输入一致。拍摄过程中，我们会在目标交互区域放置一只人手作为尺度参照物，为手的大小、物体尺度以及摄像头到工作区的距离提供参考。基于对齐后的背景图像，我们利用Qwen-Image-Edit [^56]将指定物体插入场景中，从而生成视频合成所需的初始帧。(b) 图像转视频生成。我们采用Wan-I2V-A14B [^22]对编辑后的图像进行动画处理，并根据语言指令生成第一人称视角下的人手操作视频。为提高生成动作的准确性，我们借助Qwen3-VL [^57]生成预期的手-物状态变化描述，并将其附加到视频提示中。为了实现高效的大规模合成，我们采用了LightX2V LoRA适配器，将视频生成过程缩减为四次推理步骤。(c) 机器人手部编辑。为实现实体一致性对齐，我们将机器人的灵巧手视为外观不同的手部实体。我们利用Qwen-Image-Edit [^56]在选定帧中将人手替换为逼真的机器人手，同时保留原有的姿态、位置、物体运动及场景构图。这样就能呈现相同操作轨迹下的人手与机器人手外观，从而促使策略模型更关注动作语义而非执行者身份。我们在第5.3节中对这一设计进行了消融实验。关于视频质量及流程中所用提示词的评估，请参阅附录A。
用于显式动作监督的动作提取。遵循[^7]的方法，我们从合成的人手视频中提取3D手部姿态作为动作标签。此处生成人手而非机器人操作视频至关重要：人手重建技术相对成熟，因此能够从生成的视频中大规模获取可靠的动作监督数据。对于每段视频，我们均使用HaWoR [^46]来重建手部动作。该方法首先检测每帧中的手部，随后回归出MANO参数[^58]以及手腕姿态。我们保留了摄像头坐标系下的手腕姿态
---
以及MANO参数空间中的关节手部姿态。必要时，会利用MegaSAM的摄像头跟踪功能，将这些逐帧预测结果与视频摄像头轨迹相关联。
## 4 Wh0：基于人机一致性的策略学习
Figure 3: Policy architecture and data composition. Top: A VITRA-style policy denoises actions in the unified MANO space, conditioned on PaliGemma cognition features, FoV, and current hand state. Bottom: Pretraining mixture (VITRA-1M, Ego4D-dominant) and post-training mixtures: Wh0 uses 28% teleop and 68% WM-H, heavily oversampling robot data per-sample given 400 teleop vs. 50k WM-H samples.
策略架构：我们采用了VITRA风格的视觉-语言-动作策略[^7]：以PaliGemma [^59]视觉-语言骨干网络对当前观测数据与语言指令进行编码（其中视场角作为辅助标记以提供视角线索），随后生成的特征会用于条件化基于扩散的动作解码器，该解码器可根据当前手部状态预测未来的手部动作。
动作空间定义在当前观测的摄像头坐标系下$o_{t}$：
$$ a_{t}=[\Delta t^{l},\Delta r^{l},\theta_{h}^{l},\Delta t^{r},\Delta r^{r},\theta_{h}^{r}]\in\mathbb{R}^{102}, $$
其中，$\Delta t$ 和 $\Delta r \in \mathbb{R}^3$ 表示连续帧之间的手腕相对平移与旋转（欧拉角），而 $\theta_h \in \mathbb{R}^{15 \times 3}$ 则编码了15自由度MANO [^58] 手模型在其局部坐标系中的关节旋转信息。上标l和r分别表示左手和右手；本研究重点关注右手操作。我们将机器人关节映射到MANO模型，并复用VITRA [^7] 从大规模人类视频中预先计算出的各关节归一化参数。这样既能避免依赖有限数据进行的机器人特定归一化处理，又能确保机器人动作与人类动作空间保持一致。
扩散动作解码器通过噪声预测均方误差损失进行训练：
$$ \begin{array}{r}{\mathcal{L}_{\mathrm{M S E}}=\mathbb{E}_{\epsilon\sim\mathcal{N}(0,1),i}\left[\left\|\hat{\epsilon}_{i}-\epsilon\right\|_{2}^{2}\right],}\end{array} $$
其中，$\hat{\epsilon}_{i}$ 表示在扩散步骤i时预测的噪声。
训练策略：该策略模型以VITRA [^7] 预训练模型为初始化，该预训练模型曾在Ego4D [^13]、Epic Kitchens [^21]、EgoExo4D [^60] 以及Something-Something-V2 [^61] 数据集上训练（各数据集的占比见图3），因此模型对人类手-物交互有着较强的先验认知。随后，我们将其在125:1比例的
---
Figure 4: Real-world evaluation setup. Unitree G1 with Inspire hands and a head-mounted egocentric camera (teleop via Vision Pro); evaluation spans seen/unseen objects and one seen plus three unseen backgrounds.
Figure 5: Zero-shot rollouts on real-world dexterous tasks, including container-aware placement, small-object grasping, and tool use. None of these object, container, or task combinations appear in the training set.
50k个WM-H样本与400个真实遥操作机器人演示数据的混合集上进行联合微调。每个批次中，28%的数据来自遥操作演示，68%来自WM-H样本，4%来自经过机器人手部编辑以实现实体对齐的WM-H帧（即WM-H EA）。这种采样方式能够增加对稀缺机器人数据的采样比例，从而提供稳定的实体相关信号；同时，WM-H样本则提供了实现泛化所需的视觉与语义多样性。我们冻结视觉编码器，仅更新其余骨干网络以及扩散动作解码器，学习率设为$1 \times 10^{-5}$，VLM权重衰减系数则为0.1。有关训练的更多细节，请参阅附录B。
## 5 实验
我们通过三个问题来评估Wh0——这一利用世界模型生成的人类手部数据来优化灵巧操控VLA策略的训练后框架：(Q1) 现实世界性能：Wh0是否能比优秀的VLA基线模型更好地实现零样本现实世界灵巧操控？(Q2) 消融与分析：WM-H的哪些特性促成了灵巧操控的泛化能力？(Q3) 预训练先验：WM-H能否解锁预训练的人类操控先验？
### 5.1 实验设置
(1) 机器人平台：我们在配备Inspire灵巧手的Unitree G1人形机器人上评估Wh0；所有方法共享相同的硬件、摄像头与控制接口。(2) 训练数据：我们收集了400条
---
| Method | Training Setup | Success Rate (%) $\uparrow$ |
| Pretraining | Adaptation Data | Strategy |
| $\pi_{{0.5}}$ | Robot | Teleop | FT | $7.78\pm15.6$ |
| VITRA | Human | Teleop | FT | $8.3\pm8.6$ |
| VITRA Real Version | Human | Teleop + Real Ego | Co-FT | $21.4\pm23.4$ |
| Wh0 | Human | Teleop + WM-H | Co-FT | $38.9\pm19.8$ |
Table 1: Real-world dexterous manipulation performance. We compare different pretraining sources and adaptation data under the same real-robot evaluation protocol. FT denotes fine-tuning on a single adaptation source, while Co-FT denotes joint fine-tuning on multiple data sources.
通过Apple Vision Pro在图4所示的任务与背景环境下采集的专家轨迹，主要涵盖对图中物体的抓取与放置操作。除非另有说明，所有策略均基于这些轨迹进行训练；采用混合训练的设置会在文中明确注明。(3) 评估协议：该基准测试包含四个场景下的18项任务（抓取、放置、特定物体交互），每项任务需进行20次试验，试验中物体姿态与场景均随机变化；成功率是主要评估指标。所有策略均在无需特定任务演示的情况下进行零样本评估。
### 5.2 Q1：Wh0能否改善现实世界的零样本灵巧操控？
我们将Wh0与具有不同预训练来源和适配数据的代表性VLA适配基线进行比较：$\pi_{0.5}$ [^62]，这是一种经过机器人数据预训练、再利用遥操作演示进行适配的策略；VITRA [^7]，这是一种经过人类视频预训练的VLA模型，同样利用上述遥操作演示进行适配；还有VITRA Real版本，它在协同训练阶段用HOI4D数据集中的真实人类手部操作视频替换了WM-H [^63]。传统范式仅通过机器人后续训练来适配预训练策略，但在我们的实验中，$\pi_{0.5}$和VITRA在指令跟随方面表现有限，这表明基于有限的机器人数据进行的后续训练会过拟合于已见过的任务，从而削弱预训练的泛化能力。相比之下，利用额外的人类数据（无论是实验室采集的视频还是WM-H）进行协同训练，能显著提升零样本成功率。此外，图5从定性角度显示，Wh0生成的部署结果比基于真实人类中心视频的结果更贴合实际应用场景，这表明世界模型生成的数据能为机器人执行提供更合适的监督信息。更多实验结果请参见附录C。
### 5.3 问题2：WM-H的哪些特性至关重要？
我们通过两项消融实验来分析表1中性能提升背后的原因：一是移除WM-H中的场景对齐与实体对齐机制，二是改变用于协同训练的WM-H样本数量。如表2和图6所示，我们采用三个指标来评估这些因素：Hand-Object Distance, human，用于衡量模型在原始人类手部视频上的定位能力；Hand-Object Distance, robot，用于衡量机器人手部外观编辑后的定位稳定性；以及现实世界任务成功率。即便没有场景对齐，WM-H仍能提供手-物交互模式，但场景分布和视角不再与部署环境匹配，从而限制了定位能力和现实世界任务的成功率。
| Variant | HO (human) $\uparrow$ | HO (robot) $\uparrow$ | Task Succ. $\uparrow$ |
| No model | $18.9 \pm 2.8$ | $18.9 \pm 2.8$ | - |
| Teleop only | $16.2 \pm 3.3$ | $16.2 \pm 3.3$ | $8.3 \pm 8.6$ |
| Alignment ablations |
| w/o scene align. | $14.9 \pm 2.7$ | $14.3 \pm 2.5$ | $20.0 \pm 24.7$ |
| w/o emb. align. | $10.2 \pm 2.5$ | $13.8 \pm 3.6$ | $34.7 \pm 18.0$ |
| Scale ablations |
| WM-H 5k | $11.9 \pm 2.8$ | $10.5 \pm 3.2$ | $27.8 \pm 21.8$ |
| WM-H 25k | $11.4 \pm 2.5$ | $9.9 \pm 2.6$ | $32.5 \pm 23.5$ |
| Wh0 (50k) | $10.6 \pm 2.0$ | $9.6 \pm 1.8$ | $38.9 \pm 19.8$ |
Table 2: Ablation Study: effects of deployment alignment and WM-H scale on robot-object grounding and task success. HO = Hand-Object Distance (cm).
现实世界任务成功率。如果没有实体对齐，模型在人类手部外观下表现尚可，
---
Figure 6: Effect of scene and embodiment alignment. Top: Without scene alignment, generated videos drift from the target workspace (left); with it (ours), they stay anchored. Middle: Embodiment alignment edits selected frames to a robot hand while preserving pose and motion. Right: Action-feature cosine similarity under original vs. edited appearance.
但在机器人手部外观下性能会下降，其任务成功率也低于完整的Wh0模型，这说明该模型的定位能力无法可靠地迁移到机器人实体上。图6进一步表明，实体对齐能使动作特征在外观变化时保持更稳定。最后，增加WM-H的规模能持续改善定位指标和现实世界任务成功率，说明随着规模扩大，对齐数据的有效性也会随之提升。
### 5.4 问题3：WM-H能否激活预训练的人类操作先验？
| Variant | Training Sources | Evaluation Metrics |
| Human Pretrain | Teleop | WM-H | Hand-Object Dist. (cm) $\downarrow$ | Task Success $\uparrow$ |
| No model (initial pose) | - | - | - | $18.9 \pm 2.8$ | - |
| PaliGemma pretrain, Teleop | ✗ | ✓ | ✗ | $14.3 \pm 2.0$ | $0.8 \pm 2.6$ |
| PaliGemma pretrain, Teleop + WM-H | ✗ | ✓ | ✓ | $12.7 \pm 1.4$ | $0.6 \pm 1.6$ |
| Human pretrain | ✓ | ✗ | ✗ | $13.1 \pm 1.8$ | 0.0 |
| Human pretrain, Teleop | ✓ | ✓ | ✗ | $16.2 \pm 3.3$ | $8.3 \pm 8.6$ |
| Wh0 | ✓ | ✓ | ✓ | $10.6 \pm 2.0$ | $38.9 \pm 19.8$ |
Table 3: Unlocking pretraining priors: effects of human-video pretraining, teleop demonstrations, and WM-H co-training. The strongest result combines all three.
表3研究了WM-H是否有助于利用人类视频预训练成果。仅进行人类预训练时，Hand-Object Distance指标表现良好，但任务成功率为零，这说明存在通用的人类手部运动先验，这一结果与[^7]中的评估一致，但这些先验无法直接应用于机器人。如果不进行人类预训练，仅靠遥操作数据和WM-H，任务成功率仍接近于零。相反，将人类预训练、遥操作数据与WM-H相结合，能获得最佳的定位效果和任务成功率。这些结果一致表明，WM-H的作用是激活并对齐预训练的人类操作先验，而非从零开始学习灵巧操作技能。
---
## 6 结论与局限性
我们提出了$\mathbf{Wh0}$，这是一个利用生成式视频世界模型来构建以人为中心的双手操作数据、用于VLA后续训练的框架。通过构建包含5万个样本的$\mathbf{WM-H}$数据集，并将其与有限的真实机器人演示数据进行联合训练，$\mathbf{Wh0}$能够提升Unitree G1人形机器人搭配Inspire手在零样本条件下的灵巧操作能力，将原本性能强劲的VITRA基线成功率从8.3%提升至38.9%，这一提升幅度达到了$4.7\times$。消融实验表明，场景对齐、本体对齐以及数据规模都对性能提升有贡献；进一步分析指出，$\mathbf{WM-H}$主要的作用是解锁基于人类视频预训练的操作先验，而非从零开始学习灵巧操作技能。这些结果证明，由世界模型生成的人类手部视频可作为可扩展且符合实际部署需求的灵巧VLA策略后续训练数据。
不过，Wh0仍受限于视频生成质量、手部重建精度、人机形态差异、对强预训练模型的依赖以及任务范围等因素。该生成器可能会产出物理上不合理的交互场景、意外出现的物体，或是连贯性不佳的长时序视频。手与物体的遮挡现象会降低重建出的手指姿态的准确性，进而引入有噪声的监督信号；同时，机器人手较大的尺寸在执行过程中可能会无意间扰动物体。如果没有基于人类视频预训练的基础模型，WM-H几乎无法发挥效用，这表明它只是对大规模预训练的补充而非替代。最后，我们的实验仅聚焦于单臂抓取与放置操作；将Wh0拓展至双臂操作、工具使用以及更长时间跨度的任务仍是未来的研究方向。
## 参考文献
[^1]: A. Brohan, N. Brown, J. Carbajal, Y. Chebotar, J. Dabis, C. Finn, K. Gopalakrishnan, K. Hausman, A. Herzog, J. Hsu, J. Ibarz, B. Ichter, A. Irpan, T. Jackson, S. Jesmonth, N. J. Joshi, R. Julian, D. Kalashnikov, Y. Kuang, I. Leal, K. Lee, S. Levine, Y. Lu, U. Malla, D. Manjunath, I. Mordatch, O. Nachum, C. Parada, J. Peralta, E. Perez, K. Pertsch, J. Quiambao, K. Rao, M. S. Ryoo, G. Salazar, P. R. Sanketi, K. Sayed, J. Singh, S. Sontakke, A. Stone, C. Tan, H. T. Tran, V. Vanhoucke, S. Vega, Q. Vuong, F. Xia, T. Xiao, P. Xu, S. Xu, T. Yu, and B. Zitkovich. RT-1: robotics transformer for real-world control at scale. In K. E. Bekris, K. Hauser, S. L. Herbert, and J. Yu, editors, Robotics: Science and Systems XIX, Daegu, Republic of Korea, July 10-14, 2023, 2023.
[^2]: B. Zitkovich, T. Yu, S. Xu, P. Xu, T. Xiao, F. Xia, J. Wu, P. Wohlhart, S. Welker, A. Wahid, Q. Vuong, V. Vanhoucke, H. T. Tran, R. Soricut, A. Singh, J. Singh, P. Sermanet, P. R. Sanketi, G. Salazar, M. S. Ryoo, K. Reymann, K. Rao, K. Pertsch, I. Mordatch, H. Michalewski, Y. Lu, S. Levine, L. Lee, T. E. Lee, I. Leal, Y. Kuang, D. Kalashnikov, R. Julian, N. J. Joshi, A. Irpan, B. Ichter, J. Hsu, A. Herzog, K. Hausman, K. Gopalakrishnan, C. Fu, P. Florence, C. Finn, K. A. Dubey, D. Driess, T. Ding, K. M. Choromanski, X. Chen, Y. Chebotar, J. Carbajal, N. Brown, A. Brohan, M. G. Arenas, and K. Han. RT-2: vision-language-action models transfer web knowledge to robotic control. In J. Tan, M. Toussaint, and K. Darvish, editors, Conference on Robot Learning, CoRL 2023, 6-9 November 2023, Atlanta, GA, USA, Proceedings of Machine Learning Research, pages 2165–2183. PMLR, 2023.
[^3]: M. J. Kim, K. Pertsch, S. Karamcheti, T. Xiao, A. Balakrishna, S. Nair, R. Rafailov, E. P. Foster, P. R. Sanketi, Q. Vuong, T. Kollar, B. Burchfiel, R. Tedrake, D. Sadigh, S. Levine, P. Liang, and C. Finn. Openvla: An open-source vision-language-action model. In P. Agrawal, O. Kroemer, and W. Burgard, editors, Conference on Robot Learning, 6-9 November 2024, Munich, Germany, Proceedings of Machine Learning Research, pages 2679–2713. PMLR, 2024.
## [^4]: K. Black, N. Brown, D. Driess, A. Esmail, M. Equi, C. Finn, N. Fusai, L. Groom, K. Hausman, B. Ichter, S. Jakubczak, T. Jones, L. Ke, S. Levine, A. Li-Bell, M. Mothukuri, S. Nair, K. Pertsch, L. X. Shi, J. Tanner, Q. Vuong, A. Walling, H. Wang, and U. Zhilinsky. $\pi_{0}$: A vision-language-action flow model for general robot control. CoRR, abs/2410.24164, 2024
---
[^5]: R. Yang, Q. Yu, Y. Wu, R. Yan, B. Li, A. Cheng, X. Zou, Y. Fang, X. Cheng, R. Qiu, H. Yin, S. Liu, S. Han, Y. Lu, and X. Wang. Egovla: Learning vision-language-action models from egocentric human videos. CoRR, abs/2507.12440, 2025.
[^6]: R. Hoque, P. Huang, D. J. Yoon, M. Sivapurapu, and J. Zhang. Egodex: Learning dexterous manipulation from large-scale egocentric video. CoRR, abs/2505.11709, 2025.
[^7]: Q. Li, Y. Deng, Y. Liang, L. Luo, L. Zhou, C. Yao, L. Zeng, Z. Feng, H. Liang, S. Xu, Y. Zhang, X. Chen, H. Chen, L. Sun, D. Chen, J. Yang, and B. Guo. Scalable vision-language-action model pretraining for robotic manipulation with real-life human activity videos. arXiv preprint arXiv:2510.21571, 2025.
[^8]: H. Luo, Y. Feng, W. Zhang, S. Zheng, Y. Wang, H. Yuan, J. Liu, C. Xu, Q. Jin, and Z. Lu. Being-h0: vision-language-action pretraining from large-scale human videos. arXiv preprint arXiv:2507.15597, 2025.
[^9]: H. Luo, Y. Wang, W. Zhang, S. Zheng, Z. Xi, C. Xu, H. Xu, H. Yuan, C. Zhang, Y. Wang, et al. Being-h0.5: Scaling human-centric robot learning for cross-embodiment generalization. arXiv preprint arXiv:2601.12993, 2026.
[^10]: H. Luo, W. Zhang, Y. Feng, S. Zheng, H. Xu, C. Xu, Z. Xi, Y. Fu, and Z. Lu. Being-h0. 7: A latent world-action model from egocentric videos. arXiv preprint arXiv:2605.00078, 2026.
[^11]: A. Gavryushin, X. Wang, R. J. Malate, C. Yang, D. Liconti, R. Zurbrügg, R. K. Katzschmann, and M. Pollefeys. Maple: Encoding dexterous robotic manipulation priors learned from egocentric videos. arXiv preprint arXiv:2504.06084, 2025.
[^12]: M. Lepert, J. Fang, and J. Bohg. Phantom: Training robots without robots using only human videos. arXiv preprint arXiv:2503.00779, 2025.
[^13]: K. Grauman, A. Westbury, E. Byrne, V. Cartillier, Z. Chavis, A. Furnari, R. Girdhar, J. Hamburger, H. Jiang, D. Kukreja, M. Liu, X. Liu, M. Martin, T. Nagarajan, I. Radosavovic, S. K. Ramakrishnan, F. Ryan, J. Sharma, M. Wray, M. Xu, E. Z. Xu, C. Zhao, S. Bansal, D. Batra, S. Crane, T. Do, M. Doulaty, A. Erapalli, C. Feichtenhofer, A. Fragomeni, Q. Fu, A. Gebreselasie, C. González, J. Hillis, X. Huang, Y. Huang, W. Jia, W. Khoo, J. Kolár, S. Kottur, A. Kumar, F. Landini, C. Li, Y. Li, Z. Li, K. Mangalam, R. Modhugu, J. Munro, T. Murrell, T. Nishiyasu, W. Price, P. R. Puentes, M. Ramazanova, L. Sari, K. K. Somasundaram, A. Southerland, Y. Sugano, R. Tao, M. Vo, Y. Wang, X. Wu, T. Yagi, Z. Zhao, Y. Zhu, P. Arbeláez, D. Crandall, D. Damen, G. M. Farinella, C. Fuegen, B. Ghanem, V. K. Ithapu, C. V. Jawahar, H. Joo, K. Kitani, H. Li, R. A. Newcombe, A. Oliva, H. S. Park, J. M. Rehg, Y. Sato, J. Shi, M. Z. Shou, A. Torralba, L. Torresani, M. Yan, and J. Malik. Ego4d: Around the world in 3,600 hours of egocentric video. IEEE Trans. Pattern Anal. Mach. Intell., 47(11):9468–9509, 2025.
[^14]: Y. Li, X. Wei, J. Luo, Y. Xiao, Y. Bai, G. Zhou, T. Zou, C. Gui, J. Wen, H. Zhang, et al.
Egolive：一个源自现实世界人类任务的大规模以人为中心的数据集。arXiv预印本arXiv:2604.23570，2026年。
[^15]: S. Kareer, D. Patel, R. Punamiya, P. Mathur, S. Cheng, C. Wang, J. Hoffman, and D. Xu. Egomimic: Scaling imitation learning via egocentric video. In IEEE International Conference on Robotics and Automation, ICRA 2025, Atlanta, GA, USA, May 19-23, 2025, pages 13226–13233. IEEE, 2025.
## [^16]: J. Shi, Z. Zhao, T. Wang, I. Pedroza, A. Luo, J. Wang, J. Ma, and D. Jayaraman. Zeromimic: Distilling robotic manipulation skills from web videos. In 2025 IEEE International Conference on Robotics and Automation (ICRA), pages 16939–16947. IEEE, 2025
---
[^17]: A. O'Neill, A. Rehman, A. Maddukuri, A. Gupta, A. Padalkar, A. Lee, A. Pooley, A. Gupta, A. Mandlekar, A. Jain, A. Tung, A. Bewley, A. Herzog, A. Irpan, A. Khazatsky, A. Rai, A. Gupta, A. E. Wang, A. Singh, A. Garg, A. Kembhavi, A. Xie, A. Brohan, A. Raffin, A. Sharma, A. Yavary, A. Jain, A. Balakrishna, A. Wahid, B. Burgess-Limerick, B. Kim, B. Schölkopf, B. Wulfe, B. Ichter, C. Lu, C. Xu, C. Le, C. Finn, C. Wang, C. Xu, C. Chi, C. Huang, C. Chan, C. Agia, C. Pan, C. Fu, C. Devin, D. Xu, D. Morton, D. Driess, D. Chen, D. Pathak, D. Shah, D. Büchler, D. Jayaraman, D. Kalashnikov, D. Sadigh, E. Johns, E. P. Foster, F. Liu, F. Ceola, F. Xia, F. Zhao, F. Stulp, G. Zhou, G. S. Sukhatme, G. Salhotra, G. Yan, G. Feng, G. Schiavi, G. Berseth, G. Kahn, G. Wang, H. Su, H. Fang, H. Shi, H. Bao, H. B. Amor, H. I. Christensen, H. Furuta, H. Walk, H. Fang, H. Ha, I. Mordatch, I. Radosavovic, I. Leal, J. Liang, J. Abou-Chakra, J. Kim, J. Drake, J. Peters, J. Schneider, J. Hsu, J. Bohg, J. T. Bingham, J. Wu, J. Gao, J. Hu, J. Wu, J. Wu, J. Sun, J. Luo, J. Gu, J. Tan, J. Oh, J. Wu, J. Lu, J. Yang, J. Malik, J. Silvério, J. Hejna, J. Booher, J. Tompson, J. Yang, J. Salvador, J. J. Lim, J. Han, K. Wang, K. Rao, K. Pertsch, K. Hausman, K. Go, K. Gopalakrishnan, K. Goldberg, K. Byrne, K. Oslund, K. Kawaharazuka, K. Black, K. Lin, K. Zhang, K. Ehsani, K. Lekkala, K. Ellis, K. Rana, K. Srinivasan, K. Fang, K. P. Singh, K. Zeng, K. Hatch, K. Hsu, L. Itti, L. Y. Chen, L. Pinto, L. Fei-Fei, L. Tan, L. J. Fan, L. Ott, L. Lee, L. Weihs, M. Chen, M. Lepert, M. Memmel, M. Tomizuka, M. Itkina, M. G. Castro, M. Spero, M. Du, M. Ahn, M. C. Yip, M. Zhang, M. Ding, M. Heo, M. K. Srirama, M. Sharma, M. J. Kim, N. Kanazawa, N. Hansen, N. Heess, N. J. Joshi, N. Sunderhauf, N. Liu, N. D. Palo, N. M. M. Shafullah, O. Mees, O. Kroemer, O. Bastani, P. R. Sanketi, P. T. Miller, P. Yin, P. Wohlhart, P. Xu, P. D. Fagan, P. Mitrano, P. Sermanet, P. Abbeel, P. Sundaresan, Q. Chen, Q. Vuong, R. Rafailov, R. Tian, R. Doshi, R. Martin-Martín, R. Baijal, R. Scalise, R. Hendrix, R. Lin, R. Qian, R. Zhang, R. Mendonca, R. Shah, R. Hoque, R. Julian, S. Bustamante-Gomez, S. Kirmani, S. Levine, S. Lin, S. Moore, S. Bahl, S. Dass, S. D. Sonawani, S. Song, S. Xu, S. Haldar, S. Karamcheti, S. Adebola, S. Guist, S. Nasiriany, S. Schaal, S. Welker, S. Tian, S. Ramamoorthy, S. Dasari, S. Belkhale, S. Park, S. Nair, S. Mirchandani, T. Osa, T. Gupta, T. Harada, T. Matsushima, T. Xiao, T. Kollar, T. Yu, T. Ding, T. Davchev, T. Z. Zhao, T. Armstrong, T. Darrell, T. Chung, V. Jain, V. Vanhoucke, W. Zhan, W. Zhou, W. Burgard, X. Chen, X. Wang, X. Zhu, X. Geng, X. Liu, L. Xu, X. Li, Y. Lu, Y. J. Ma, Y. Kim, Y. Chebotar, Y. Zhou, Y. Zhu, Y. Wu, Y. Xu, Y. Wang, Y. Bisk, Y. Cho, Y. Lee, Y. Cui, Y. Cao, Y. Wu, Y. Tang, Y. Zhu, Y. Zhang, Y. Jiang, Y. Li, Y. Li, Y. Iwasawa, Y. Matsuo, Z. Ma, Z. Xu, Z. J. Cui, Z. Zhang, and Z. Lin. Open x-embodiment: Robotic learning datasets and RT-X models : Open x-embodiment collaboration. In IEEE International Conference on Robotics and Automation, ICRA 2024, Yokohama, Japan, May 13-17, 2024, pages 6892–6903. IEEE, 2024.
[^18]: A. Khazatsky, K. Pertsch, S. Nair, A. Balakrishna, S. Dasari, S. Karamcheti, S. Nasiriany, M. K. Srirama, L. Y. Chen, K. Ellis, et al. Droid: A large-scale in-the-wild robot manipulation dataset. arXiv preprint arXiv:2403.12945, 2024.
[^19]: M. Mittal, P. Roth, J. Tigue, A. Richard, O. Zhang, P. Du, A. Serrano-Munoz, X. Yao, R. Zurbrügg, N. Rudin, et al. Isaac lab: A gpu-accelerated simulation framework for multi-modal robot learning. arXiv preprint arXiv:2511.04831, 2025.
[^20]: R. Zhao, S. Xu, R. Jin, Y. Deng, Y. Tai, K. Jia, and G. Liu. Sim2real v1a: Zero-shot generalization of synthesized skills to realistic manipulation. In The Fourteenth International Conference on Learning Representations, 2026.
[^21]: D. Damen, H. Doughty, G. M. Farinella, S. Fidler, A. Furnari, E. Kazakos, D. Moltisanti, J. Munro, T. Perrett, W. Price, et al. Scaling egocentric vision: The epic-kitchens dataset. In Proceedings of the European conference on computer vision (ECCV), pages 720–736, 2018.
### [^22]: Wan Team, A. Wang, B. Ai, B. Wen, C. Mao, C.-W. Xie, D. Chen, F. Yu, H. Zhao, J. Yang, et al. Wan: Open and advanced large-scale video generative models. arXiv preprint arXiv:2503.20314, 2025
---
[^23]: N. Agarwal, A. Ali, M. Bala, Y. Balaji, E. Barker, T. Cai, P. Chattopadhyay, Y. Chen, Y. Cui, Y. Ding, D. Dworakowski, J. Fan, M. Fenzi, F. Ferroni, S. Fidler, D. Fox, S. Ge, Y. Ge, J. Gu, S. Gururani, E. He, J. Huang, J. S. Huffman, P. Jannaty, J. Jin, S. W. Kim, G. Klar, G. Lam, S. Lan, L. Leal-Taixé, A. Li, Z. Li, C. Lin, T. Lin, H. Ling, M. Liu, X. Liu, A. Luo, Q. Ma, H. Mao, K. Mo, A. Mousavian, S. Nah, S. Niverty, D. Page, D. Paschalidou, Z. Patel, L. Pavao, M. Ramezanali, F. Reda, X. Ren, V. R. N. Sabavat, E. Schmerling, S. Shi, B. Stefaniak, S. Tang, L. Tchapmi, P. Tredak, W. Tseng, J. Varghese, H. Wang, H. Wang, H. Wang, H. Wang, T. Wang, F. Wei, X. Wei, J. Z. Wu, J. Xu, W. Yang, Y. Lin, X. Zeng, Y. Zeng, J. Zhang, Q. Zhang, Y. Zhang, Q. Zhao, and A. Zölkowski. Cosmos world foundation model platform for physical AI. CoRR, abs/2501.03575, 2025.
[^24]: Y. Matsuo, Y. LeCun, M. Sahani, D. Precup, D. Silver, M. Sugiyama, E. Uchibe, and J. Morimoto. Deep learning, reinforcement learning, and world models. Neural Networks, 152: 267–275, 2022.
[^25]: H. Zhen, X. Qiu, P. Chen, J. Yang, X. Yan, Y. Du, Y. Hong, and C. Gan. 3d-vla: A 3d vision-language-action generative world model. In R. Salakhutdinov, Z. Kolter, K. A. Heller, A. Weller, N. Oliver, J. Scarlett, and F. Berkenkamp, editors, Forty-first International Conference on Machine Learning, ICML 2024, Vienna, Austria, July 21-27, 2024, Proceedings of Machine Learning Research, pages 61229–61245. PMLR / OpenReview.net, 2024.
[^26]: R. G. Goswami, A. Bar, D. Fan, T. Yang, G. Zhou, P. Krishnamurthy, M. Rabbat, F. Khorrami, and Y. LeCun. World models can leverage human videos for dexterous manipulation. CoRR, abs/2512.13644, 2025.
[^27]: G. Lu, B. Jia, P. Li, Y. Chen, Z. Wang, Y. Tang, and S. Huang. Gwm: Towards scalable gaussian world models for robotic manipulation. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 9263–9274, 2025.
[^28]: J. Jang, S. Ye, Z. Lin, J. Xiang, J. Bjorck, Y. Fang, F. Hu, S. Huang, K. Kundalia, Y. Lin, L. Magne, A. Mandlekar, A. Narayan, Y. L. Tan, G. Wang, J. Wang, Q. Wang, Y. Xu, X. Zeng, K. Zheng, R. Zheng, M. Liu, L. Zettlemoyer, D. Fox, J. Kautz, S. Reed, Y. Zhu, and L. Fan. Dreamgen: Unlocking generalization in robot learning through neural trajectories. CoRR, abs/2505.12705, 2025.
[^29]: Y. Du, S. Yang, B. Dai, H. Dai, O. Nachum, J. Tenenbaum, D. Schuurmans, and P. Abbeel. Learning universal policies via text-guided video generation. Advances in Neural Information Processing Systems, 36:9156–9172, 2023.
[^30]: H. Bharadhwaj, D. Dwibedi, A. Gupta, S. Tulsiani, C. Doersch, T. Xiao, D. Shah, F. Xia, D. Sadigh, and S. Kirmani. Gen2act: Human video generation in novel scenarios enables generalizable robot manipulation. arXiv preprint arXiv:2409.16283, 2024.
[^31]: J. Liang, R. Liu, E. Ozguroglu, S. Sudhakar, A. Dave, P. Tokmakov, S. Song, and C. Vondrick. Dreamitate: Real-world visuomotor policy learning via video generation. arXiv preprint arXiv:2406.16862, 2024.
[^32]: B. Chen, T. Zhang, H. Geng, K. Song, C. Zhang, P. Li, W. T. Freeman, J. Malik, P. Abbeel, R. Tedrake, et al. Large video planner enables generalizable robot control. arXiv preprint arXiv:2512.15840, 2025.
[^33]: H. Li, L. Sun, Y.-H. Hu, D. Ta, J. Barry, G. Konidaris, and J. Fu. Novaflow: Zero-shot manipulation via actionable flow from generated videos. arXiv preprint arXiv:2510.08568, 2025.
[^34]: B. Kim, T. Kim, J. Lee, and H. Joo. Dexterous world models. arXiv preprint arXiv:2512.17907, 2025.
### [^35]: S. Ye, Y. Ge, K. Zheng, S. Gao, S. Yu, G. Kurian, S. Indupuru, Y. L. Tan, C. Zhu, J. Xiang, et al. World action models are zero-shot policies. arXiv preprint arXiv:2602.15922, 2026
---
[^36]: MotuBrain Team, C. Xiang, F. Bao, H. Liu, H. Tan, H. Bi, J. Li, J. Liu, J. Pang, K. Jing, et al. Motubrain: An advanced world action model for robot control. arXiv preprint arXiv:2604.27792, 2026.
[^37]: L. Li, Q. Zhang, Y. Luo, S. Yang, R. Wang, F. Han, M. Yu, Z. Gao, N. Xue, X. Zhu, et al. Causal world modeling for robot control. arXiv preprint arXiv:2601.21998, 2026.
[^38]: J. Bjorck, F. Castañeda, N. Cherniadev, X. Da, R. Ding, L. Fan, Y. Fang, D. Fox, F. Hu, S. Huang, J. Jang, Z. Jiang, J. Kautz, K. Kundalia, L. Lao, Z. Li, Z. Lin, K. Lin, G. Liu, E. LLontop, L. Magne, A. Mandlekar, A. Narayan, S. Nasiriany, S. Reed, Y. L. Tan, G. Wang, Z. Wang, J. Wang, Q. Wang, J. Xiang, Y. Xie, Y. Xu, Z. Xu, S. Ye, Z. Yu, A. Zhang, H. Zhang, Y. Zhao, R. Zheng, and Y. Zhu. GRO0T N1: an open foundation model for generalist humanoid robots. CoRR, abs/2503.14734, 2025.
[^39]: Physical Intelligence, K. Black, N. Brown, J. Darpinian, K. Dhabalia, D. Driess, A. Esmail, M. R. Equi, C. Finn, N. Fusai, M. Y. Galliker, et al. $\pi_{0.5}$: A vision-language-action model with open-world generalization. In Proceedings of The 9th Conference on Robot Learning, 2025.
[^40]: Physical Intelligence, B. Ai, A. Amin, R. Aniceto, A. Balakrishna, G. Balke, K. Black, G. Bokinsky, S. Cao, T. Charbonnier, et al. $\pi_{0.7}$: A steerable generalist robotic foundation model with emergent capabilities. arXiv preprint arXiv:2604.15483, 2026.
[^41]: E. Jang, A. Irpan, M. Khansari, D. Kappler, F. Ebert, C. Lynch, S. Levine, and C. Finn. Bc-z: Zero-shot task generalization with robotic imitation learning. In conference on Robot Learning, pages 991–1002. PMLR, 2022.
[^42]: H. R. Walke, K. Black, T. Z. Zhao, Q. Vuong, C. Zheng, P. Hansen-Estruch, A. W. He, V. Myers, M. J. Kim, M. Du, et al. Bridgedata v2: A dataset for robot learning at scale. In Conference on Robot Learning, pages 1723–1736. PMLR, 2023.
[^43]: Y. Zhong, X. Huang, R. Li, C. Zhang, Z. Chen, T. Guan, F. Zeng, K. N. Lui, Y. Ye, Y. Liang, Y. Yang, and Y. Chen. Dexgraspvla: A vision-language-action framework towards general dexterous grasping. In S. Koenig, C. Jenkins, and M. E. Taylor, editors, Fortieth AAAI Conference on Artificial Intelligence, Thirty-Eighth Conference on Innovative Applications of Artificial Intelligence, Sixteenth Symposium on Educational Advances in Artificial Intelligence, AAAI 2026, Singapore, January 20-27, 2026, pages 18836–18844. AAAI Press, 2026.
[^44]: H. Liu, S. Guo, P. Mai, J. Cao, H. Li, and J. Ma. Robodexvlm: Visual language model-enabled task planning and motion control for dexterous robot manipulation. In IEEE/RSJ International Conference on Intelligent Robots and Systems, IROS 2025, Hangzhou, China, October 19-25, 2025, pages 1381–1388. IEEE, 2025.
[^45]: G. Pavlakos, D. Shan, I. Radosavovic, A. Kanazawa, D. Fouhey, and J. Malik. Reconstructing hands in 3d with transformers. In IEEE/CVF Conference on Computer Vision and Pattern Recognition, CVPR 2024, Seattle, WA, USA, June 16-22, 2024, pages 9826–9836. IEEE, 2024.
[^46]: J. Zhang, J. Deng, C. Ma, and R. A. Potamias. Hawor: World-space hand motion reconstruction from egocentric videos. In Proceedings of the Computer Vision and Pattern Recognition Conference, pages 1805–1815, 2025.
[^47]: S. Bahl, R. Mendonca, L. Chen, U. Jain, and D. Pathak. Affordances from human videos as a versatile representation for robotics. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 13778–13790, 2023.
### [^48]: K. Shaw, S. Bahl, and D. Pathak. Videodex: Learning dexterity from internet videos. In Conference on Robot Learning, pages 654–665. PMLR, 2023
---
[^49]: Y. Qin, Y.-H. Wu, S. Liu, H. Jiang, R. Yang, Y. Fu, and X. Wang. Dexmv: Imitation learning for dexterous manipulation from human videos. In European Conference on Computer Vision, pages 570–587. Springer, 2022.
[^50]: C. Wang, H. Shi, W. Wang, R. Zhang, L. Fei-Fei, and C. K. Liu. Dexcap: Scalable and portable mocap data collection system for dexterous manipulation. In D. Kulic, G. Venture, K. E. Bekris, and E. Coronado, editors, Robotics: Science and Systems XX, Delft, The Netherlands, July 15-19, 2024, 2024.
[^51]: R. Zheng, D. Niu, Y. Xie, J. Wang, M. Xu, Y. Jiang, F. Castañeda, F. Hu, Y. L. Tan, L. Fu, et al. Egoscale: Scaling dexterous manipulation with diverse egocentric human data. arXiv preprint arXiv:2602.16710, 2026.
[^52]: S. Kareer, K. Pertsch, J. Darpinian, J. Hoffman, D. Xu, S. Levine, C. Finn, and S. Nair. Emergence of human to robot transfer in vision-language-action models. arXiv preprint arXiv:2512.22414, 2025.
[^53]: S. Patel, S. Mohan, H. Mai, U. Jain, S. Lazebnik, and Y. Li. Robotic manipulation by imitating generated videos without physical demonstrations. arXiv preprint arXiv:2507.00990, 2025.
[^54]: K. Dharmarajan, W. Huang, J. Wu, L. Fei-Fei, and R. Zhang. Dream2flow: Bridging video generation and open-world manipulation with 3d object flow. arXiv preprint arXiv:2512.24766, 2025.
[^55]: G. Team, A. Ye, B. Wang, C. Ni, G. Huang, G. Zhao, H. Li, J. Zhu, K. Li, M. Xu, Q. Deng, S. Wang, W. Qin, X. Chen, X. Wang, Y. Wang, Y. Cao, Y. Chang, Y. Xu, Y. Ye, Y. Wang, Y. Zhou, Z. Zhang, Z. Dong, and Z. Zhu. Gigaworld-0: World models as data engine to empower embodied AI. CoRR, abs/2511.19861, 2025.
[^56]: C. Wu, J. Li, J. Zhou, J. Lin, K. Gao, K. Yan, S.-m. Yin, S. Bai, X. Xu, Y. Chen, et al. Qwen-image technical report. arXiv preprint arXiv:2508.02324, 2025.
[^57]: S. Bai, Y. Cai, R. Chen, K. Chen, X. Chen, Z. Cheng, L. Deng, W. Ding, C. Gao, C. Ge, et al. Qwen3-vl technical report. arXiv preprint arXiv:2511.21631, 2025.
[^58]: J. Romero, D. Tzionas, and M. J. Black. Embodied hands: modeling and capturing hands and bodies together. ACM Trans. Graph., 36(6):245:1–245:17, 2017.
[^59]: L. Beyer, A. Steiner, A. S. Pinto, A. Kolesnikov, X. Wang, D. Salz, M. Neumann, I. Alabdul-mohsin, M. Tschannen, E. Bugliaello, et al. Paligemma: A versatile 3b vlm for transfer. arXiv preprint arXiv:2407.07726, 2024.
[^60]: K. Grauman, A. Westbury, L. Torresani, K. Kitani, J. Malik, T. Afouras, K. Ashutosh, V. Baiyya, S. Bansal, B. Boote, E. Byrne, Z. Chavis, et al. Ego-exo4d: Understanding skilled human activity from first- and third-person perspectives. In IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2024.
[^61]: R. Goyal, S. Ebrahimi Kahou, V. Michalski, J. Materzyńska, S. Westphal, H. Kim, V. Haenel, I. Fruend, P. Yianilos, M. Mueller-Freitag, F. Hoppe, C. Thurau, I. Bax, and R. Memisevic. The “something something” video database for learning and evaluating visual common sense. In Proceedings of the IEEE International Conference on Computer Vision (ICCV), pages 5842–5850, 2017.
## [^62]: K. Black, N. Brown, J. Darpinian, K. Dhabalia, D. Driess, A. Esmail, M. R. Equi, C. Finn, N. Fusai, M. Y. Galliker, D. Ghosh, L. Groom, K. Hausman, brian ichter, S. Jakubczak, T. Jones, L. Ke, D. LeBlanc, S. Levine, A. Li-Bell, M. Mothukuri, S. Nair, K. Pertsch, A. Z. Ren, L. X. Shi, L. Smith, J. T. Springenberg, K. Stachowicz, J. Tanner, Q. Vuong, H. Walke, A. Walling, H. Wang, L. Yu, and U. Zhilinsky. $\pi_{0.5}$: a vision-language-action model with open-world generalization. In 9th Annual Conference on Robot Learning, 2025
---
## [^63]: Y. Liu, Y. Liu, C. Jiang, K. Lyu, W. Wan, H. Shen, B. Liang, Z. Fu, H. Wang, and L. Yi. HOI4D: A 4d egocentric dataset for category-level human-object interaction. In IEEE/CVF Conference on Computer Vision and Pattern Recognition, CVPR 2022, New Orleans, LA, USA, June 18-24, 2022, pages 20981–20990. IEEE, 2022. doi:10.1109/CVPR52688.2022.02034
---
### 附录
## A WM-H数据集构建
### A.1 指令生成与提示词设计
该流程采用基于数据库的迭代方式实现。数据库会记录名词、形容词、指令以及词频信息。每次迭代时，会优先选择低频词来组装指令；只有当所有现有词汇都达到最低使用阈值后，才会触发词汇扩展。新生成的词汇会从大语言模型返回的JSON输出中解析出来，经过筛选后插入数据库，重复的指令则会被拒绝。如表A.1所示，词汇扩展提示词中包含：{num_nouns}和{num_adjectives}用于指定新词的数量；{existing_nouns}和{existing_adjectives}作为避免重复的紧凑子集；{diversity_hint}则用于提示场景类别（如厨房、办公室），以鼓励生成多样化的词汇类型。
词汇扩展提示词
生成{num_nouns}个新的可抓取操作物体的名词，以及{num_adjectives}个新的形容词。
现有名词：{existing_nouns}
现有形容词：{existing_adjectives}
多样性提示：{diversity_hint}
仅返回JSON对象：
{"nouns": [...], "adjectives": [...]}
### A.2 场景对齐的图像编辑
我们使用与机器人策略相同的部署摄像头、视角和输入分辨率来采集桌面/工作区图像。拍摄时，会将人手放置在目标交互区域内，以便提供关于手尺寸、物体尺寸以及摄像头距离的相对比例参考。针对每条指令，我们会随机选取一张工作区图像，并利用Owen-Image-Edit插入所需的物体。
为了定位编辑区域，我们会在图像上绘制一个矩形引导区域。该区域占图像固定比例，其中心位置会在可达工作区范围内随机选取。对于多个物体而言，引导区域会依次采样且互不重叠。这个矩形仅用于指示期望的插入区域，在最终编辑后的图像中会被移除。我们采用较少的编辑步骤以及较低的CFG参数值，并借助Lightning LoRA加速处理。编辑后的图像随后会被用作视频合成的初始帧。提示词模板详见表A.2。
场景对齐的图像编辑提示词：
在图像上绘制的矩形内添加{object}。该矩形仅为引导作用，最终图像中不应显示此矩形。需保持原有的桌面布局、光照、摄像头视角、背景以及现有物体不变。
## A.3 图像转视频生成
### 给定编辑后的场景图像后，我们将其作为图像转视频生成的初始帧。视频提示词由任务指令、第一人称摄像头设置、操作手以及Qwen3-VL生成的动态描述共同构成。Qwen3-VL提示词要求模型根据编辑后的图像和语言指令，推断出预期的手部与物体的运动方式及时间演变过程，具体如表格A.3所示。所生成的描述会被追加到表格A.3中的最终视频提示词里。
---
我们保持摄像头固定，设定为第一人称俯视视角，让单只操作手从画面下方进入。生成的视频侧重于完成指定的操作，且要求操作完成后手部立即停止动作。为提高大规模合成的效率，我们采用了LightX2V LoRA加速技术，设置较少的推理步骤以及较低的CFG参数值。
### Qwen3-VL视频动态提示词
图像展示了一个场景，人的{LEFT/RIGHT}手将在画面中执行以下操作：{instruction}。此项任务仅通过{LEFT/RIGHT}手来完成。请仔细观察图像中的物体与布局，基于该操作详细描述动作过程中应出现的视频动态效果。重点描述手部运动、物体运动、手物交互以及操作的时间顺序。务必提及是{LEFT/RIGHT}手在执行该操作。请用英语描述视频动态效果，直接输出描述文本，不要添加其他内容。描述要具体。
### 图像转视频生成提示词
4K高清画质，摄像头固定，第一人称俯视视角，展示人类{left/right}手以及桌面上的物体。{left/right}手从画面下方伸出。人的{LEFT/RIGHT}手将在画面中执行以下操作：{instruction}。仅用{left/right}手来完成此任务。{video dynamics description from Qwen3-VL} 操作完成后，手部停止，不再有额外动作。
### A.4 实体对齐的图像编辑
为了提升具身一致性，我们会对生成的人手视频中的选定帧进行编辑，将人手替换为逼真的机械手，同时保留原有的操作内容。实际操作中，我们以固定间隔和偏移量稀疏采样帧，并独立对每一帧应用Qwen-Image-Edit进行处理。编辑仅限于手部外观：我们保持原有的手部姿态、位置、比例、场景背景以及整体构图不变，以确保编辑后的帧与原始操作轨迹保持一致。
我们使用搭载Lightning LoRA加速功能的Qwen-Image-Edit，通过少量编辑步骤和低CFG缩放值来实现高效处理。目标机械手的外观被设定为具有白色手背外壳、黑色手掌、黑色指尖以及银色机械前臂的逼真灵巧手。为了抑制卡通化或合成渲染产生的瑕疵，我们还额外使用了强调真实感的负面提示词。相关提示词模板详见表A.4。
## 具身对齐的图像编辑提示词
正面提示词：将图像中的人手替换为逼真的机械手，具备白色手背外壳、黑色手掌、黑色指尖以及银色机械前臂。仅更改手部外观和材质，保持原有的手部姿态、位置、比例、背景及构图不变。
负面提示词：卡通、动漫、漫画、玩具手、塑料手、CGI效果、风格化、3D渲染、插画、低多边形、假机械手、手指变形、多余手指、模糊、低质量
### A.5 质量评估
图8展示了WM-H数据集中各种物体和任务下的第一人称视角手部操作视频的定性可视化结果。每一行代表一种不同的操作方式，显示了人手或机械手在真实场景中与物体的互动情况。该图凸显了WM-H数据集中所包含的抓握类型、物体形状和摆放位置的多样性，体现了其为视觉-语言-动作模型提供丰富训练监督的潜力。
我们针对72名人工智能从业者开展了用户研究。如表4所总结的，对A部分判断线索的分析表明，参与者主要依赖物理特性和布局相关的线索（45.6%）。
---
| Part | Dimension | N | Result | $\Delta$ from real |
| A | AI judged as real | 355 | 37.7% | - |
| Judgment cue: visual smoothness / artifacts | 710 | 19.4% | - |
| Judgment cue: hand appearance & motion | 710 | 34.9% | - |
| Judgment cue: physics, layout & contact | 710 | 45.6% | - |
| B | Object correctness | 1,420 | 3.97 $\pm$ 1.22 | 1.03 |
| Instruction alignment | 1,420 | 4.18 $\pm$ 1.09 | 0.82 |
| Hand-object interaction | 1,420 | 3.95 $\pm$ 1.19 | 1.05 |
| Physical plausibility | 1,420 | 3.78 $\pm$ 1.30 | 1.22 |
| Training suitability | 1,420 | 3.57 $\pm$ 1.31 | 1.43 |
| C | Pose consistency | 355 | 4.30 $\pm$ 0.85 | - |
| Contact preservation | 355 | 4.25 $\pm$ 0.84 | - |
Table 4: User study results on hand-manipulation videos ( $N = 72$). Part A: 10 videos ( $5$ real + 5 AI); Part B: 20 WM-H synthetic videos; Part C: 5 before/after edit pairs. Part A judgment cues sum to 100%, Part B/C rated on a 5-point Likert scale (1=worst, 5=best).
他们据此来评估视频的真实感，其次是手部外观和运动特征（34.9%）；而闪烁或失真等低层次视觉瑕疵仅占19.4%。这表明即便具备人工智能专业知识的评估者，也更关注语义一致性、物理合理性以及手-物交互，而非仅仅关注时间上的流畅性或局部视觉瑕疵。按照这些更高层次的评估标准，37.7%的人工智能生成视频（134/355个样本）被视为真实录像，这说明相当一部分合成样本在场景布局、物理合理性和操作表现方面已展现出极强的真实感。
在B部分中，每位参与者根据5点李克特量表，从WM-H数据集中随机选取的20个合成手部操作视频（每次实验的采样和呈现顺序均随机）在五个质量维度上进行评分。假设真实视频的最高得分为5.0（本研究并未直接测量），那么这些合成视频的平均得分分别为：$3.97 \pm 1.22$（物体正确性）、$4.18 \pm 1.09$（指令一致性）、$3.95 \pm 1.19$（手-物交互）、$3.78 \pm 1.30$（物理合理性）以及$3.57 \pm 1.31$（训练适用性）。这些结果表明，合成视频在所有维度上均表现出高质量，尤其是在指令一致性和手-物交互方面；这显示出WM-H合成视频能够提供高度可用的训练监督信息，同时在视觉和操作层面都与真实操作视频保持良好的一致性。
C部分用于评估视频编辑后的手部对齐情况。参与者对姿态一致性（C1）和接触保持度（C2）分别进行了评分，得分分别为$4.30 \pm 0.85$和$4.25 \pm 0.84$，这表明编辑后的手部在很大程度上保留了编辑前的姿态及交互状态。
### A.6 失败案例
图7展示了在WM-H生成的第一人称视角操作数据中观察到的典型失败案例，揭示了视频生成及人-机器人手部对齐过程中常见的问题：
- 图像编辑错误：某些帧会出现物体位置不正确、视觉伪影或裁剪问题，这些问题可能会在训练期间误导策略模型。
• 物理上不合理的交互：某些动作违背了现实世界的物理规律，例如手穿过物体或不合理的抓取姿势，从而降低了监督信号的可靠性。
• 交互前后视觉不一致：在少数情况下，交互前后的视觉状态不一致，导致关键交互点显得错位或产生不连贯的动作效果。
---
- 无效指令导致无法执行的操作：有时，组合后的指令缺乏实际意义，使得视频中无法执行相应操作，从而导致实际操作与预期任务不符。
- 手部编辑问题：在机器人手部编辑过程中，可能无法保留手部姿态，或者无意中修改了场景中的物体，尽管原本仅打算编辑手部外观。
这些失败模式表明，尽管WM-H提供了可扩展且多样的监督数据，但在使用世界模型生成的人手数据进行机器人操作训练时，仍需仔细确保数据的物理合理性、视觉保真度、交互前后的一致性、指令的有效性以及准确的实体对齐。
Figure 7: Qualitative visualization of representative WM-H failure cases. Each panel highlights typical issues such as image editing errors, physically implausible hand-object interactions, temporal inconsistencies, instruction misalignment, and imperfect robot-hand embodiment alignment.
### B 策略训练细节
### B.1 架构与条件设定
该策略采用PaliGemma2-3B视觉语言骨干网络来编码当前观测数据与语言指令。除了标准的词元嵌入外，还会通过多层感知机将二维视场角词元投影到骨干网络的隐藏层维度，并将其纳入输入序列。此外，还会在输入中追加一个可学习的认知词元；其最终的隐藏状态会被提取出来，作为动作解码器的条件特征。当前手部状态以相机坐标系表示，包括手腕平移量、欧拉角，以及每只手的15自由度MANO关节旋转参数（重点关注右手）。动作解码器是基于扩散模型的DiT-B网络，每个数据块可预测16个未来时间步的动作，动作维度为102，与MANO手部空间相对应。
---
### B.2 人机动作对齐
机器人演示的状态与动作会首先从机器人的基坐标系转换到相机坐标系。手腕旋转会被修正以符合MANO的规范，机器人关节角度也会被重新映射到人手/MANO空间。尽管该策略内部会将状态与动作填充到统一的VITRA空间中（状态维度为212，动作维度为102），但只有与人手相关的维度会被激活。机器人动作与状态值会使用从人类视频数据计算得到的统计数据进行归一化，而非采用针对机器人本身的归一化方式。训练过程中会以WM-H EA帧（经过编辑以实现实体对齐的WM-H）作为额外的监督信号。
### B.3 优化与推理
训练后期，视觉编码器会被冻结，而剩余的骨干网络与扩散动作解码器则会继续更新。训练在4块NVIDIA H200 GPU上进行，每块GPU的批量大小为64，总批量大小达到256。骨干网络与动作解码器的学习率均为$1 \times 10^{-5}$，权重衰减系数为0.1，优化器参数为β1=0.9、β2=0.95，梯度裁剪阈值为1.0，训练步数最多为4万步。扩散解码器采用100个扩散步，噪声调度方式为平方余弦函数。每个批次中，我们会独立采样噪声与时间步，重复进行8次扩散训练。训练过程中不应用图像增强操作。推理阶段，该策略部署在单块NVIDIA RTX 4090 GPU上，采用10步的DDIM采样方式，分类器自由引导系数设为5.0。
### B.4 数据混合与采样比例
表B.4总结了不同训练设置下的每批次采样比例。其中，R代表遥操作机器人数据，W代表WM-H，W-EA代表实现实体对齐的WM-H。对于HOI4D数据集，我们遵循片段级标注协议：每100帧被归为一个片段并分配一条语言标注，最终得到5511个标注好的HOI4D片段。随后，VITRA Real Version基线模型会用遥操作机器人数据与这些HOI4D片段按平衡比例混合训练。
| Model / Setting | Dataset Sampling Ratio |
| $\pi_{0.5}$ | R = 1 |
| VITRA | R = 1 |
| VITRA Real Version | R : HOI4D = 1 : 1 |
| w/o scene alignment | R : W-EA : W = 0.28 : 0.04 : 0.68 |
| w/o embodiment alignment | R : W = 0.4 : 1 |
| WM-H 5k | R : W-EA : W = 1 : 0.06 : 0.94 |
| WM-H 25k | R : W-EA : W = 0.28 : 0.04 : 0.68 |
| PaliGemma pretrain, Teleop | R = 1 |
| PaliGemma pretrain, Teleop + WM-H | R : W-EA : W = 0.28 : 0.04 : 0.68 |
| Human pretrain, Teleop | R = 1 |
| Wh0 (50k) | R : W-EA : W = 0.28 : 0.04 : 0.68 |
表5：各类模型及消融实验的训练数据集构成。R代表遥操作机器人数据，W代表WM-H，W-EA代表实现实体对齐的WM-H。
## C 评估细节
### C.1 真实世界实验设置
任务套件。我们在搭载Inspire灵巧手与第一人称相机的真实Unitree G1人形机器人上对所有方法进行评估。该基准测试包含18项真实世界的灵巧操控任务：(1) 抓取三脚架，(2) 把可乐罐放入黑盒，(3) 触碰机器人夹爪，(4) 把手套放入橙色容器，(5) 抓取纸杯，(6) 把水瓶放入蓝色……
---
把苹果放入橙色容器中，取出苹果，拿起毛巾，把茶壶放入橙色容器中，擦拭桌子，把白绿色饮料放进抽屉，把可乐罐放进抽屉，拿起遥控器，拿起面包，把纸巾放入黄色篮子里，把苹果放入黄色篮子里，最后拿起卷尺。所有方法均采用相同的机器人硬件、摄像头视角和低级控制接口进行评估。我们报告了这18项任务的平均成功率以及标准差，以反映性能的差异性。
分阶段条件化指令协议。对于涉及多个操作阶段的任务，我们在评估过程中采用分阶段条件化的语言指令。指令会与当前手-物交互状态相匹配，比如伸手、抓取或放置。当机器人完成一个操作阶段并进入下一阶段时，评估者仅提供下一条指令；无需手动控制或动作修正。该协议遵循我们的数据标注方案，即根据不同的手-物状态对演示进行标注。它使得评估能够聚焦于给定视觉观察和语言条件下的执行表现，同时保证所有方法的评估协议保持一致。
部署时的动作先验。灵巧手的控制空间维度很高，在部署过程中原始的手部预测可能包含短期噪声。因此，我们在接触前阶段应用简单的抓取先验：手指关节被限制为单调地向闭合方向移动，直到形成稳定的抓取。这能抑制靠近物体时的过早开手动作，从而提高真实机器人的稳定性。所有被评估的方法均适用这一部署规则。
### C.2 手-物距离评估
我们以手-物距离作为语言引导的物体定位的代理指标。评估集是通过利用大语言模型生成未见过的操作指令，再用图像编辑模型合成未见过的物体来构建的。随后我们根据世界模型轨迹估算三维目标物体的位置。经过人工筛选掉错误的样本后，最终的评估集包含约5000个样本。为了确定目标位置，我们利用手部速度的局部最小值以及抓取/释放状态的变化，从每个世界模型轨迹中识别出关键的交互帧。我们重建这些帧处的手部运动，并将恢复出的手指位置与目标物体位置对应起来。
测试时，我们测量策略预测的手腕动作与估算的目标物体位置之间的距离。距离越小，说明指令引导的物体定位效果越好。由于该指标并未评估手指层面的灵巧性，因此它应被视为一种定位指标而非完整的任务成功指标：距离小通常是成功操作的前提，但并非充分条件。
### C.3 机器人执行结果
图9和图10展示了Wh0在真实世界操作任务中的定性演示。这些示例包括物体抓取、容器放置和桌面交互，表明Wh0能够遵循语言指令并可靠地执行多种动作。与基线VITRA策略相比，Wh0产生的手-物交互更一致，任务契合度也更高。
---
挑选那件皮革材质的斑马纹物品。
抓起那条平整的裤子，将其放在宽大的镜子上。
挑选出那副厚手套。
拿起那顶红色的帽子，把它放进炉子里。
挑选出那支温暖的笔，把它放在高高的枕头旁边。
拿起那根有裂痕的蜡烛，把它放在毛茸茸的雨伞上。
挑选出那把凹凸不平的锤子，把它放在毛茸茸的猫旁边。
Figure 8: Qualitative Visualization of WM-H
---
put the apple into the yellow basket.
Figure 9: Robot execution rollouts of Wh0 across various dexterous manipulation tasks.
---
Figure 10: Additional Wh0 rollouts and comparison with baseline VITRA.