# TASTE-Rob：推进面向通用机器人操控的任务导向型手-物交互视频生成 赵宏翔 $^{1*}$ 刘星辰 $^{1*\dagger}$ 徐沐天 $^{1}$ 郝一鸣 $^{1}$ 陈伟凯 $^{\ddagger}$ 韩晓光 $^{1,2\S}$ $^{1}$上海交通大学 $^{2}$ 中科院自动化所 ## 摘要 我们针对现有数据集和模型在任务导向型手-物交互视频生成方面的关键局限性展开研究，这类视频生成是机器人模仿学习中获取视频演示的重要方式。当前的数据集（如Ego4D [^16]）往往存在视角不一致、交互不匹配的问题，导致视频质量较低，难以满足精准模仿学习任务的需求。为此，我们推出了TASTE-Rob——一个包含100,856段以人眼为中心的手-物交互视频的开创性大规模数据集。每段视频都经过精心标注，与语言指令一一对应，且均采用统一的摄像头视角录制，以确保交互过程清晰可辨。通过在TASTE-Rob数据集上微调视频扩散模型（VDM），我们能够生成逼真的物体交互画面，不过也发现手部抓取姿势偶尔会出现不一致的情况。为了提升真实感，我们提出了一种三阶段姿态优化流程，用以改善生成视频中的手部姿势准确性。我们精心构建的数据集结合专门的姿态优化框架，在生成高质量、任务导向型手-物交互视频方面取得了显著性能提升，进而实现了更优的通用机器人操控能力。为了推动该领域的进一步发展，TASTE-Rob数据集和源代码将在我们的网站 上公开发布。 ### 1. 引言
use a spatula to scoop the tomato onto a plate
机器人操控在日常生活中发挥着重要作用，可协助完成物品搬运、液体倾倒、表面清洁、抽屉操作等任务。借助模仿学习（IL）[8–10, 15, 20, 22, 42, 48, ![Image](images/ec66092552abac130d4fbba227fb3915da91e9d064374bf7457b926e852cdc2b.jpg) 的成功应用， 用左手把粉色玻璃杯放到桌上，右手将白色遥控器放在黄色书本上 ![Image](images/febfb2934e8e17fb759b117f4bb1ad80db737a783151d839ec7cda081d1e4519.jpg)
Figure 1. TASTE-Rob generates high-quality task-oriented hand-object interaction videos, enabling robust generalization in robotic manipulation.
56、57、64]，当前机器人能够模仿视频中的动作，但要求录制视频中的环境与实际场景几乎一致，这就限制了它们在新场景中的泛化能力——比如当被操控物体的位置或运动方向发生变化时，机器人便无法适应。 为了解决泛化能力有限的问题，近期的研究将强化学习（IL）与生成模型[2, 3, 5-7, 12, 25, 47, 58]相结合，比如视频扩散模型（VDMs），以此创建适应性强的演示样本，从而实现更具泛化能力的机器人操控[^12] [^25] [^47]。具体而言，这些研究利用VDM生成机器人-物体交互视频作为强化学习的演示样本。虽然机器人-物体交互VDM能够提升泛化性能，但它们受限于有限的机器人数据集[^4] [^8] [^21] [^24] [^51]。一种可扩展的替代方案是生成手-物体交互（HOI）视频，这类视频可利用海量的人类操控视频数据集。尽管手-物体交互与机器人运动存在差异，但先进的政策模型[^1] [^5] [^9] [^22] [^48] [^57] [^65]能够有效弥补这一差距，通过强化学习取得卓越的性能。然而，即便现有的强大VDM能够生成高质量的人体视频（如图7所示），它们在生成具备准确任务理解能力、高质量的面向任务的手-物体交互视频方面仍存在困难。 --- 为了提升视频生成质量，包含83,647段第一视角手-物体交互视频的大规模数据集Ego4D [^16]，已被证明在机器人操控任务中颇具价值[^23] [^32] [^53]。不过，如附录8所示，Ego4D在我们的研究目标上存在两个显著局限。首先，每个视频片段的拍摄视角不一致，而用于强化学习的视频演示通常是从固定视角录制的。其次，由于这些视频片段提取自包含多个任务的较长视频，部分片段中的交互内容会与其他片段重叠，从而导致视频片段与语言指令之间出现错位。这两个局限都会对视频生成质量产生负面影响。 为克服上述局限，我们推出了TASTE-Rob——一个旨在提升面向任务的手-物体交互视频生成质量的开创性大规模数据集。TASTE-Rob包含100,856段配有精准匹配的语言指令的第一视角视频。与Ego4D不同，TASTE-Rob的设计注重清晰度和一致性：每段视频都对应一条指令，记录的是一次完整的交互过程，且采用固定的拍摄视角独立录制，这与可靠的模仿学习演示所需的条件相匹配。通过解决这些关键问题，TASTE-Rob为推进视频生成、模仿学习及相关领域的研究奠定了坚实基础。 在对我们精心整理的数据集进行VDM微调后，我们成功实现了高质量的任务导向型手-物体交互视频生成。虽然该模型在识别目标物体和确定合适的粗略交互方面表现出色，但在手部姿态上仍存在不一致性，具体表现为操作过程中握持姿势会不自然地变化。这一局限性对机器人模仿学习而言是一个重大挑战，因为精确且稳定的手-物体交互至关重要。为解决这一问题，我们进一步提出了专门的三阶段姿态优化流程。首先，仅根据语言指令和环境图像生成粗略的操作视频；其次，利用运动扩散模型（MDM）$^{[45]}$对手部姿态序列进行优化，以确保握持姿势的真实性；最后，将优化后的姿态序列作为额外的条件因素，重新生成视频。该流程显著提升了生成视频中抓取动作的真实性，使机器人能够在未见过的场景中更精准、灵活地执行新任务。大量实验表明，我们提出的TASTE-Rob数据集结合姿态优化流程后，能够带来显著的性能提升，不仅在生成的手-物体交互视频质量上超越了现有最先进方法，还实现了更精确的机器人操控。 我们的贡献可总结如下： • 我们推出了TASTE-Rob，这是一个包含100,856段以自我为中心的手-物体交互视频的大规模数据集，这些视频专为训练用于机器人模仿学习的高质量视频生成模型而定制。 - 我们开发了一种三阶段的姿态优化流程，显著提升了生成视频中手部姿态的真实性。 - 我们在生成任务导向型手-物体交互视频方面创造了新的业界最佳水平，进而有效提升了机器人的操控性能。 ### 2. 相关工作 基于视频演示的模仿学习。模仿学习使机器人能够通过监督学习训练策略来直接复现专家[^8] [^10] [^15] [^42] [^64]或人类[^9] [^20] [^22] [^48] [^56] [^57]的视频演示中的动作。尽管这些方法需要来自与机器人执行环境相同的视频演示，但其在新场景和新任务上的泛化能力有限。另外，现有研究通过生成演示来解决这一难题，例如视频[^5] [^23] [^32] [^53]、光流[^52] [^58]以及图像[^7]，从而成功实现了更好的泛化效果。在现有方法中，视频演示生成是最直接的解决方案。然而，机器人操控视频生成[^23] [^32] [^53]受到机器人数据集有限的制约，而人手视频生成[^5]则因缺乏有效的HOI视频生成模型而受阻。在本研究中，我们致力于提升HOI视频生成的质量，以助力机器人操控。 以自我为中心的HOI视频数据集。为了提升视频质量，我们提出了一种专门的HOI视频生成模型，该模型需要大规模、高质量的自我中心数据集。现有的自我中心HOI数据集存在诸多局限：分辨率不足[^27] [^28] [^30] [^43]；规模有限[^13] [^27] [^28] [^30] [^35] [^43]；场景多样性受限[^11] [^13] [^28]。虽然Ego4D [^16]提供了多样化且大规模的HOI视频，但其多变的拍摄视角与不精确的动作-语言对齐给IL视频演示带来了挑战。因此，我们推出了TASTE-Rob，包含100,856个专为我们的任务设计的视频。 用于视频生成的扩散模型。基于VDM的成功[^18]，研究人员利用各种条件输入实现了高质量视频生成：文本[^33] [^41] [^61] [^62]和图像[^26] [^38] [^54] [^55] [^60]。图像到视频的生成与我们的任务高度契合。尽管这些模型在生成逼真的色彩和时间连贯性方面表现出色，但在处理大幅度的运动变化时会遇到困难。运动扩散模型[^19] [^36] [^45] [^50] [^59]通过利用高质量的人体模型[^39]来生成运动控制参数，从而解决了这一难题。在本研究中， ---
Orientation( $^{\circ}$)0-9090-180180-270270-360
Proportion(\%)33.8247.79.598.89
Table 1. Palm orientation distribution of grasping poses. We analyze the palm orientation distribution of grasping poses across TASTE-Rob. Specifically, the degree of orientation denotes the angle between the palm normal direction and the positive x-axis of the frame plane.
![Image](images/02212aee7b28e97074592e805b2b1f18edbbeeab223d44fff01fe922edd4cc0f.jpg) ![Image](images/a3a35e78dc38d717c565edbf1bc06ddc3fa08efeeaa3a050bf04a91efb94bb92.jpg)
Figure 2. Distribution of environment and HOI task. In TASTE-Rob, we collect ego-centric task-oriented HOI videos with diverse tasks under diverse environments.
我们通过姿态优化流程结合了VDM和MDM的优势，以生成具有逼真抓取姿态的HOI视频。 ### 3. 构建TASTE-Rob数据集 我们收集了一个庞大且多样化的自我中心任务导向型HOI视频数据集TASTE-Rob，其中包含100,856对视频及其对应的语言任务指令。为了满足HOI视频生成的需求，TASTE-Rob需实现以下目标：1）每段视频均采用固定摄像头视角录制，且包含与任务指令紧密匹配的单一动作；2）涵盖多样化的环境和任务；3）在不同HOI场景中呈现多种手部姿态。 #### 3.1. 采集策略与摄像头设置 为实现第一个目标，我们使用了配备广角镜头的多个摄像头来拍摄1080p的自我中心视频。我们在每次录制过程中做了以下改进。 首先，由于我们的数据采集旨在为IL演示生成任务导向型HOI视频，而此类演示通常从固定的摄像头视角录制以实现有效的机器人模仿学习，因此我们确保录制过程中不会出现摄像头视角变化。此外，如图12所示，我们将摄像头视角特意调整为与Ego4D [^16]的头戴式摄像头设置一致，以保证与自我中心视角的一致性。 我们的第二个目标是确保TASTE-Rob中语言任务指令与视频动作之间的精确对齐，这对保持生成的HOI视频中的动作完整性至关重要。与Ego4D [^16]不同，后者通过头戴式摄像头拍摄日常活动的长时间录像，之后再将其分割成较短的片段， ![Image](images/64c4e518f7c6cc5dbe5a7617762100276229d676e5653e3ca08275ae266110dd.jpg)
Figure 3. Inter-finger angle distribution of human hands. We analyze the distribution of inter-finger angles, specifically between the thumb-index and index-middle finger pairs, across TASTE-Rob. Specifically, higher degrees mean higher inter-finger angles.
![Image](images/9f183b19f104944b598033741cd3bd0f496600643a68b7f1c5516f26b381367b.jpg)
Figure 4. Finger curvature distribution of human hands. We analyze the distribution of finger curvatures, specifically that of thumb, index finger and middle finger, across TASTE-Rob. Specifically, higher degrees mean higher curvature.
我们采用了一种更为可控的采集方案：1）每段视频时长严格限制在八秒以内，且只记录一个动作。2）采集人员遵循结构化的录制流程：他们按下“开始录制”按钮，按照给定的指令执行指定的HOI任务，任务完成后停止录制。这种方法能够确保动作与任务指令之间精确对应。 #### 3.2. 数据多样性 环境与任务的分布。为了促进广泛的泛化能力，TASTE-Rob中的视频是在多样化的环境中录制的，涵盖了各类HOI任务。如图2所示，这些环境包括厨房、卧室、餐桌、办公桌等场所。采集人员需要与各种常用物体互动，执行抓取、放置、推动、倾倒等任务。为了进一步确保任务的多样性，我们考虑了不同的手部使用模式。具体而言，TASTE-Rob包含75,389段单手任务视频和25,467段双手任务视频。 ---
DatasetLanguage InstructionsEnvironmentData Statistics
Perfect Action AlignmentDeterminerCameraSettingFramesClipsResolution
Disney [^13]✗✗DynamicGarden11M88001080p
ADL [^35]✗✗DynamicDiverse1M436960p
Charades-Ego [^43]✗✗DynamicDiverse5.8M7860720p
HOI4D [^29]✓✗StaticDiverse4M24661080p
UT Ego [^27] [^30]✗✗DynamicDiverse0.9M80320p
EGTEA Gaze+ [^28]✓✗DynamicKitchen2.5M10,000480p
EPIC-KITCHENS [^11]✓✗DynamicKitchen6.8M35,0001080p
Ego4D [^16]✗✗DynamicDiverse19.2M83,6471080p
Ours✓✓StaticDiverse9M100,8561080p
Table 2. Dataset comparison with existing ego-centric HOI video datasets. TASTE-Rob, specifically designed for generating task-oriented HOI videos, provides a diverse collection of ego-centric HOI videos with several distinctive features: static camera perspectives, precise language-action alignment, and rich object descriptors (Please see Appendix 8 for details). In the above table, we compare these key characteristics: Perfect Action Alignment (ensuring all actions in the video strictly correspond to language task descriptions), Descriptive Determiners (whether object descriptions exist), Camera Setting (fixed or dynamic camera perspective), and Environment Setting (recording locations). By the way, Even if Ego4D [^16] offers an impressive 3000-hours video data, it is designed for various general tasks, and the portion applicable to HOI video generation is significantly smaller, as presented in the above table, which is only 83,647 clips. Cells highlighted in $\blacksquare$ denotes the dataset with best feature in each column.
抓取手部的分布。为了确保手部姿态的多样性，我们考虑了两个主要因素：多样的掌心朝向（全局姿态）和不同的抓取姿势（细节姿态）。为了展示手部姿态的多样性，我们利用HaMeR [^34]提取手部姿态参数，并基于这些参数分析其分布情况（更多细节见附录9）。 如表1所示，我们分析了TASTE-Rob中HOI交互过程中掌心朝向的分布情况。分析结果揭示了以下规律：1）掌心向下的手部姿态（$0^{\circ}-180^{\circ}$）最为常见，因为这种朝向便于抓取物体。2）掌心朝左的手部姿态（$90^{\circ}-270^{\circ}$）出现的频率略高于掌心朝右的姿态，这可能是因为所有采集人员均为右利手，自然更倾向于用右手操作物体。 我们还在图3和图4中提供了手部抓取姿势分布的分析结果。鉴于拇指、食指和中指在HOI中起着主导作用，我们重点考察了这些手指之间的夹角以及它们各自的弯曲度分布。图3中的分析显示，手指间夹角分布广泛，反映出多样的手部朝向。图4则揭示了两个关键发现：1）食指和中指的弯曲度分布模式相似，这体现了它们在HOI动作中同步弯曲的特点。2）我们的数据集涵盖了广泛的抓取姿势，这是由于所操作的物体种类丰富所致。 #### 3.3. 与其他数据集的比较 如表2所示，我们对比了TASTE-Rob与现有的以自我为中心的HOI视频数据集。TASTE-Rob是首个专为任务导向型HOI视频生成设计的视频数据集，它也可作为强化学习演示的宝贵资源。由于强化学习的视频演示是从固定摄像头视角录制的，且仅包含与任务指令相匹配的单个动作，因此我们在相同的设置下采集HOI视频，这使得TASTE-Rob与其他数据集有所区别。此外，为了帮助理解目标物体，我们在语言任务指令中加入了各类表示物体的限定词（更多细节见附录8）。借助TASTE-Rob，我们能够生成高质量的HOI视频演示，从而实现强化学习。 ### 4. 方法 给定环境图像和任务描述，生成的任务导向型HOI视频需满足以下条件： 1) 准确理解任务：正确识别需要操控的物体以及操控方式。 2) 可行的手物交互：在整个操控过程中保持一致的握持姿势。 如图5的Stage I区域所示，由单个VDM（$\hat{v}_{c}$）生成的视频虽然能体现准确的任务理解能力，但在保持一致的握持姿势方面表现有限。为满足这两项要求，我们提出了一种三阶段的姿态优化流程，如图5所示：Stage I：采用可学习的图像转视频（I2V）扩散模型生成满足“准确理解任务”要求的粗略HOI视频；Stage II：从该粗略视频中提取手部姿态序列，并利用可学习的运动扩散模型（MDM）[^45]对其进行优化；Stage III：利用优化后的手部姿态序列生成高质量—— --- ![Image](images/8cb0d4f4fde9be3d4775c14a5514c895f5ada6d74894a8f8b4fd2ff0eeec64e5.jpg)
Figure 5. Overview of our proposed three-stage pose-refinement pipeline. Stage I: our learnable I2V latent diffusion model $\mathcal{V}$ generates a coarse HOI video $\hat{v}_c$. Stage II: extracting hand pose sequence $p_c$ from $\hat{v}_c$, and our learnable MDM $\mathcal{M}$ refines it into $\hat{p}$. Besides, we also obtain the corresponding visualized hand pose images s of $\hat{p}$. Stage III: incorporating this additional pose condition into $\mathcal{V}$ to generate a fine HOI video $\hat{v}$.
高质量的HOI视频，从而同时满足上述两项要求。 #### 4.1. preliminaries：扩散模型 扩散模型[^17] [^44]通过学习逆转加噪过程来工作。它们首先将数据样本$\boldsymbol{x}_0 \sim p_{data}(\boldsymbol{x})$转化为高斯噪声$\boldsymbol{x}_T \sim \mathcal{N}(\mathbf{0}, \mathbf{I})$，然后通过多步去噪操作$\boldsymbol{x}_T$来重建原始数据。其目标函数如下： $$ \min_{\boldsymbol{\theta}}\mathbb{E}_{t,\boldsymbol{x},\boldsymbol{\epsilon}\sim\mathcal{N}(\mathbf{0},\mathbf{I})}\|\boldsymbol{\epsilon}-\boldsymbol{\epsilon}_{\theta}(\boldsymbol{x}_{t},t)\|_{2}^{2}, $$ 模型$\epsilon_{\theta}(\boldsymbol{x}_{t},t)$会学习预测每个时间步t的单步噪声，其中$\epsilon$是采样的真实噪声，$\theta$表示可学习的网络参数。训练完成后，模型会通过从随机高斯噪声$\hat{\boldsymbol{x}}_{0}$开始的T步去噪过程生成$\boldsymbol{x}_{T}$。 视频生成。在本研究中，我们基于DynamiCrafter [^54]探索HOI视频生成，这是一种强大的I2V潜空间扩散模型。假设$\mathcal{T}$、$i \in \mathbb{R}^{3 \times H \times W}$和$v \in \mathbb{R}^{L \times 3 \times H \times W}$分别表示任务语言描述、环境图像和真实视频帧，DynamiCrafter会在紧凑的潜空间中学习去噪过程：v通过编码器$\mathcal{E}$被编码为紧凑的潜空间表示$z = \mathcal{E}(v) \in \mathbb{R}^{L \times C \times h \times w}$，再通过解码器$\mathcal{D}$解码。在该潜空间中，模型会基于$\mathcal{T}$和i进行前向扩散和引导去噪操作，具体为$z_0 \sim p_{data}(z)$和$z_T \sim \mathcal{N}(\mathbf{0}, \mathbf{I})$。目标函数1更新为： $$ \operatorname*{m i n}_{\theta_{V}}\mathbb{E}_{t,\mathbf{z},\epsilon\sim\mathcal{N}(\mathbf{0},\mathbf{I})}\|\epsilon-\epsilon_{\theta}(z_{t},\mathcal{T},\mathbf{\mathit{i}},t,f p s)\|_{2}^{2}, $$ 其中$f_{ps}$是在[^54]中引入的FPS控制参数，$\theta_{V}$表示DynamiCrafter的可学习参数。 ![Image](images/9e276bddd59fa6821632069ff78f9c8427a864ec90e92261da0b956da32c0218.jpg)
Figure 6. overview of our learnable Image-to-Hand-Params MDM. Based on MDM [^45], we extend the framework by incorporating environment information through an additional image condition branch. The model takes a noised hand pose sequence $p_t^{1:L_p}$, t itself, a CLIP [^37] text embedding $c_{txt}$ of $\mathcal{T}$ and a CLIP image embedding $c_{img}$ of i as input.
运动序列生成。MDM [^45]采用独特的仅编码器Transformer架构，在生成人体运动序列方面表现出色。与预测单步噪声不同，MDM直接生成干净的运动序列。设p表示运动序列，$\mathcal{M}$表示MDM网络。此处有$p_0 \sim p_{data}(p)$和$p_T \sim \mathcal{N}(\mathbf{0}, \mathbf{I})$。目标函数1被修改为： $$ \min_{\boldsymbol{\theta}_{M}}\mathbb{E}_{t,\boldsymbol{p},\boldsymbol{\epsilon}\sim\mathcal{N}(\mathbf{0},\mathbf{I})}\|\boldsymbol{p}_{0}-\mathcal{M}(\boldsymbol{p}_{t},\mathcal{T},t)\|_{2}^{2}, $$ 其中$\theta_{M}$表示MDM的可训练参数。训练完成后，MDM会通过T步去噪过程生成最终的干净运动序列$\hat{p}_{0}$。不过在每一步中，MDM并非直接通过单步去噪生成$p_{t-1}$，而是首先利用以下公式从$\hat{p}_{0,t}$预测出干净的运动序列$p_{t}$： $$ \hat{p}_{0,t}=\mathcal{M}(p_{t},\mathcal{T},t), $$ 随后重新引入噪声以获得 $p_{t-1}$。通过重复此过程 T 次，MDM 生成最终的干净运动序列 $\hat{p}_{0,0}$，记为 $\hat{p}_{0}$。 #### 4.2. 第一阶段：粗略动作规划器 我们设计的可学习粗略动作规划器旨在根据任务描述 $\hat{v}_c \in \mathbb{R}^{L \times 3 \times H \times W}$ 和环境图像 i 生成粗略的 HOI 视频 $\mathcal{T}$。具体而言，我们在 TASTE-Rob 上对 DynamiCrafter [^54] 进行微调，将其作为粗略动作规划器，记为 $\mathcal{V}$。 训练。在微调期间，我们采用了与 DynamiCrafter [^54] 类似的训练策略。为了利用 DynamiCrafter 强大的时序处理能力，同时使其适应我们的特定 HOI 视频生成任务，我们仅对其图像上下文投影器和去噪 U-Net 中的空间层进行微调。训练目标与公式 2 保持一致，其中可训练参数 $\theta_{V}$ 代表图像上下文投影器和空间层的参数。 --- 手-物体交互不一致问题。我们生成的粗略 HOI 视频能够准确理解任务，例如识别需要操作的物体并确定其目标位置。然而，如图 5 中的 $p_{c}$ 所示，操作过程中的抓取姿态存在时序不一致现象，反映出运动连贯性的缺失。具体来说，这些不一致表现为抓取姿态随时间发生不希望的变化，即手部的姿势出现不自然的变化，而此时手部与被抓物体的相对位置本应保持稳定。如图 5 中的 $p_{c}$ 所示，绿色手部姿态呈现捏合手势，这与黄色手部姿态的抓取姿势不符，也不适合所操作的目标物体。 #### 4.3. 第二阶段：修正手部姿态序列 为解决 HOI 不一致问题，我们训练了一个图像到手部参数的 MDM 模型 $\mathcal{M}$。该模型对从粗略视频 $\boldsymbol{p}_c \in \mathbb{R}^{L_p \times N_h \times 2}$ 中提取的手部姿态序列 $\hat{\boldsymbol{v}}_c$ 进行优化。具体而言，我们将 $\boldsymbol{p}_c$ 定义为手部关键点序列的归一化坐标，其中 $L_p$ 表示序列长度，$N_h$ 表示手部关键点的数量。 训练。我们设计的可学习模型 $\mathcal{M}$ 以任务描述 $\mathcal{T}$ 和环境图像 i 为输入，用于预测优化后的人手姿态序列。为此，我们通过增加额外的图像分支来整合环境信息，从而对原有的 MDM [^45] 框架进行扩展。如图 6 所示，与 [^45] 的文本条件分支类似，新增的图像分支会整合环境图像 i 的 CLIP [^37] 类别特征。因此，优化目标 3 更新如下： $$ \operatorname*{m i n}_{\theta_{M}}\mathbb{E}_{t,\boldsymbol{p},\epsilon\sim\mathcal{N}(\boldsymbol{0},\mathbf{I})}\|\boldsymbol{p}_{0}-\mathcal{M}(\boldsymbol{p}_{t},\mathcal{T},\boldsymbol{i},t)\|_{2}^{2}, $$ 其中 $\theta_{M}$ 表示 $\mathcal{M}$ 的参数，$\epsilon$ 表示采样的真实噪声。 当我们通过 T 步去噪过程直接生成最终干净姿态序列 $\hat{p}$ 时，$\hat{p}$ 虽能实现物理上合理的手部运动，但空间感知能力有限。相比之下，$p_c$ 则展现出显著的空间感知能力。为解决这一局限，我们对 $p_c$ 进行细化，使用的是 $\mathcal{M}$，而不是从高斯噪声生成。具体而言，我们在 $\mathcal{M}$ 的式 4 中，以 $p_{0,N_{rv}}$ 初始化去噪过程，并将 $p_c$ 设为 $p_{0,N_{rv}}$。随后，经过 $N_{rv}$ 步去噪，我们将 $p_c$ 细化为最终干净的手部姿态序列 $\hat{p}$，使其同时满足空间准确性与运动可行性。 #### 4.4. 第三阶段：利用优化后的姿态重新生成 借助优化后的手部姿态序列，我们结合额外的姿态条件$\hat{p}$来生成细粒度的HOI视频。受ToonCrafter [^55]的启发，我们训练了一个与帧无关的姿态编码器$\mathcal{S}$，用于控制生成视频中的手部姿态。我们将$\mathcal{S}$设计为逐帧适配器，它能根据$\hat{p}$独立调整每一帧的中间特征：$\boldsymbol{F}_{inject}^{i} = \mathcal{S}(\boldsymbol{s}^{i}, \boldsymbol{z}^{i}, t)$，其中$\boldsymbol{s}^{i}$是$\hat{p}$的可视化图像序列，如图5所示，而$\boldsymbol{F}_{inject}^{i}$的处理方式类似于ControlNet [^62]。 训练阶段。在训练过程中，我们采用了类似ToonCrafter [^55]的策略：冻结V的所有参数，仅对S的参数（记为$\eta$）进行训练，优化目标如下： $$ \operatorname*{m i n}_{\eta}\mathbb{E}_{t,\boldsymbol{s},\boldsymbol{\mathcal{E}}(\boldsymbol{v}),\boldsymbol{\epsilon}\sim\mathcal{N}(\boldsymbol{0},\mathbf{I})}\|\boldsymbol{\epsilon}-\boldsymbol{\epsilon}_{\theta}^{\mathcal{S}}(z_{t};\mathcal{T},i,\boldsymbol{s},t,f p s)\|_{2}^{2}, $$ 其中$\epsilon_{\theta}^{S}$表示$\epsilon_{\theta}$与S的组合，s代表手部姿态序列的可视化图像。 最后，我们将生成的精细HOI视频$\hat{v}$用作IL的视频演示，并利用Im2Flow2Act策略模型[^58]来实现机器人操控。如图10所示，我们展示了以生成的HOI视频为演示的模仿学习结果，证实了它们在实现机器人操控方面的有效性。 ### 5. 实验 #### 5.1. 实现细节 训练期间，我们在TASTE-Rob数据集的训练集上训练模型。第一阶段：我们基于DynamiCrafter对粗糙动作规划器进行30K步微调，批量大小为16，学习率为$5 \times 10^{-5}$。第二阶段：我们对MDM进行100K步训练，批量大小为64，学习率为$1 \times 10^{-4}$。第三阶段：我们基于SD对姿态编码器进行30K步微调，批量大小为32，学习率为$5 \times 10^{-5}$。推理时，我们通过50步去噪过程生成视频，并用$N_{rv}$=10来优化姿态序列（更多细节见附录12）。 #### 5.2. 评估 数据集。我们在两个数据集上进行评估：TASTE-Rob-Test和Mujoco仿真数据集。TASTE-Rob-Test：我们将TASTE-Rob数据集划分为训练集和测试集，测试集记为TASTE-Rob-Test。为保证评估公平性，我们从每个动作类别中选取2%的样本作为测试样本。Mujoco仿真数据集：我们从Im2Flow2Act [^58]提供的机器人仿真平台中随机选取50个任务用于机器人操控测试。 此外，如第3节和表2所述，其他以自我为中心的视频数据集与我们任务中的设置不同，因此不适合用作评估数据集。 评估指标。我们从视频生成、抓取姿态一致性以及机器人操控这三个方面来评估性能。视频生成：为了评估其质量…… --- 生成视频在空间和时间域内的质量，我们采用DynamiCrafter [^46]中使用的Fréchet Video Distance (FVD) [^46]、Kernel Video Distance (KVD) [^54]以及Perceptual Input Conformity (PIC) [^54]作为评价指标。抓取姿态一致性：我们通过三个指标进行评估——抓取姿态方差（GPV，由$\frac{1}{L'}\sum_{i=1}^{N}(\theta_i^p - \bar{\theta}^p)^2$计算得出）、抓取类型分类误差（GTCE，用于计算生成视频中抓取类型的分类误差）以及手部运动方向准确率（HMDA，用于衡量手部运动的方向一致性与预期任务轨迹的对齐程度），这些指标的详细信息详见附录10。机器人操控：我们利用在Mu-joco仿真数据集上生成的视频作为强化学习的演示数据，并部署Im2Flow2Act [^58]的策略模型进行机器人操控。性能通过对比成功率来评估。
MethodGeneration Quality
KVD $\downarrow$FVD $\downarrow$PIC $\uparrow$
consistI2V0.2465.770.85
DynamiCrafter0.2162.360.79
Open-Sora Plan0.1850.190.84
CogVideoX0.1648.720.85
TASTE-Rob0.039.430.90
Table 3. Quantitative comparison between TASTE-Rob and baselines. All video generation metrics prove the better generation performance of TASTE-Rob.
#### 5.3. 基线模型与对比实验 我们选取了四种现有的强大I2V扩散模型——DynamiCrafter [^54]、consistI2V [^38]、Open-Sora Plan [^26]以及CogVideoX [^60]作为基线模型，并开展这些基线模型与我们方法的对比实验。我们在图7中提供了TASTE-Rob-Test及野外环境下的视频生成性能的定性对比结果，表3则展示了TASTE-Rob-Test上的定量对比结果，结果表明我们的方法具有更优的视频质量和更强的泛化能力。上述实验表明，所有现有的强大通用VDM都无法很好地完成操控任务，因此不适合用于生成HOI视频演示。鉴于另外两个评估维度侧重于衡量生成视频的细粒度细节，我们不再与这些基线模型进行进一步对比。 #### 5.4. 消融实验 TASTE-Rob数据集。我们评估了使用TASTE-Rob数据集所带来的性能提升。为了公平起见，我们比较了我们的粗粒度动作规划器（Coarse-TASTE-Rob）与基于DynamiCrafter微调得到的对比基线Ego4D-Gen之间的视频生成性能。
MethodGeneration Quality
KVD $\downarrow$FVD $\downarrow$PIC $\uparrow$
Ego4D-Gen0.1852.170.77
Coarse-TASTE-Rob0.0410.850.88
Table 4. Quantitative comparison between Ego4D-Gen and Coarse-TASTE-Rob. All video generation metrics prove the better generation performance of Coarse-TASTE-Rob.
namiCrafter [^54] on 83,647 ego-centric HOI videos from Ego4D [^16]. The only difference between them is the training datasets they use. As shown in Figure 8 and Table 4, our coarse action planner achieves superior performance.
MetricCoarse-TASTE-RobTASTE-Rob
KVD $\downarrow$0.040.03
FVD $\downarrow$10.859.43
PIC $\uparrow$0.880.90
GPV $\downarrow$0.280.24
GTCE $\downarrow$67.8%9.7%
HMDA $\downarrow$26.4°11.3°
success rate $\uparrow$84%96%
Table 5. Quantitative comparison between TASTE-Rob and Coarse-TASTE-Rob. All metrics prove the better generation performance, grasping pose consistency and more precise robot manipulation of TASTE-Rob.
姿态优化流程。如表5所示，我们在所有三个评估维度上对Coarse-TASTE-Rob和TASTE-Rob进行了对比。在宏观层面，表5中的视频生成指标以及图9中的视觉对比均表明，我们提出的姿态优化流程能够生成质量更好的HOI视频。在微观层面，表5中的抓取姿态一致性指标以及图9进一步验证了我们提出的姿态优化流程有效解决了姿态不一致问题，从而实现了更精准的机器人操控。此外，如图10和表5中的成功率指标所示，我们提出的姿态优化流程有助于策略模型实现更精准的目标放置，进而提升成功率。另外，我们仅在自己的数据集上进行这项消融实验，因为在现有HOI数据集（如Ego4D [^16]）上微调生成的视频质量较低，难以提取出合理的姿态以供进一步优化。 姿态优化的去噪步骤。我们还讨论了在姿态优化过程中$N_{rv}$的选择问题。当$N_{rv} = 0$（不进行优化）时，手部姿态序列会出现不一致的问题；而采用$N_{rv} = 50$（从高斯噪声中生成姿态序列）则会导致空间感知能力受限。 --- ![Image](images/84e865393f2430d4d351ad5b4197334237c97f0c7018b4c7e19f4eae9d3aff45.jpg)
A person use left hand to move black earphone cable to the left side of the table, the right hand to place blue earphone case on the book
Figure 7. Comparisons of video generation performance. TASTE-Rob generates videos with high-quality and accurate action, while other existing powerful general VDMs fail.
![Image](images/19e5a1cbfeeb1447e4057b211b502be4379a6e2f215776b9fa55d6d604de24d3.jpg)
A person pick up the bottle and put it on the plate
Figure 8. Qualitative comparison between Ego4D-Gen and Coarse-TASTE-Rob. Our TASTE-Rob dataset significantly improves the generalization of video generation models in generating HOI videos with accurate actions.
![Image](images/7a760de80169bd2e427aae5f29438d104db1af11b5eeb58a96cac375f1a974b0.jpg) ![Image](images/35479a4bb83258839ed61c83ae893d67783fe73a82ce99d7081933dfae482dca.jpg)
A person bring the black phone case to the bottom left corner of the desktop
Figure 9. Qualitative comparison between TASTE-Rob and Coarse-TASTE-Rob. With our proposed pose-refinement pipeline, we can generate HOI videos with more accurate and feasible grasping poses.
随着$N_{rv}$值的增大，我们观察到姿态一致性有所改善，但空间感知能力却有所下降。如表6所示，当$N_{rv}$增大时，视频生成质量会先提升后下降。基于这种权衡，我们最终将$N_{rv}$的值定为10（更多细节见附录11）。 ![Image](images/0e9daac26cd3d2d97fa6f1b82883a2fc5a42dbefe61136db34ef43e753ef3748.jpg)
Pick up a red cup and place it into a greed plate
Figure 10. Comparison of Robot Manipulation Performance. TASTE-Rob generates higher-quality HOI videos, leading to more precise robot manipulation.
### 6. 讨论与结论 总结。在这项工作中，我们收集了一个多样化且规模庞大的以自我为中心的HOI数据集，并开发了一个三阶段的姿态优化流程来生成高质量的任务导向型HOI视频。我们成功提升了HOI视频生成能力，进而通过模仿学习增强了机器人在新场景中的操作泛化能力。 局限性。我们的方法能够在未见过的场景中实现精确操作，并能改善生成视频中的抓取姿态。然而，当物体发生显著形变（如旋转或打开）时，生成质量会有所下降。在今后的工作中，我们计划解决这一局限。 --- ### 7. 致谢 本研究部分得到了河套深港科技创新合作区基础研究项目（编号：HZQB-KCZYZ-2021067）、广东省杰出青年基金（编号：2023B1515020055）、国家自然科学基金（编号：61931024）以及深圳市科技计划项目（编号：JCYJ20220530143604010）的支持。此外，研究还得到了国家重点研发计划（编号：2018YFB1800800）、深圳市杰出人才培育基金（202002）、广东省研究项目（编号：2017ZT07X152和2019CX01X104）、广东省重点研发计划（编号：2018B030338001）、广东省未来网络智能重点实验室（编号：2022B1212010001）以及深圳市大数据与人工智能重点实验室（编号：ZDSYS201707251409055）的部分资助。 ## 参考文献 [^1]: Shikhar Bahl, Abhinav Gupta, and Deepak Pathak. Human-to-robot imitation in the wild. 2022. 1 [^2]: Homanga Bharadhwaj, Abhinav Gupta, Vikash Kumar, and Shubham Tulsiani. Towards generalizable zero-shot manipulation via translating human interaction plans, 2023. 1 [^3]: Homanga Bharadhwaj, Abhinav Gupta, and Shubham Tulsiani. Visual affordance prediction for guiding robot exploration. IEEE International Conference on Robotics and Automation (ICRA), 2023. 1 [^4]: Homanga Bharadhwaj, Jay Vakil, Mohit Sharma, Abhinav Gupta, Shubham Tulsiani, and Vikash Kumar. Roboagent: Generalization and efficiency in robot manipulation via semantic augmentations and action chunking, 2023. [^5]: Homanga Bharadhwaj, Debidatta Dwibedi, Abhinav Gupta, Shubham Tulsiani, Carl Doersch, Ted Xiao, Dhruv Shah, Fei Xia, Dorsa Sadigh, and Sean Kirmani. Gen2act: Human video generation in novel scenarios enables generalizable robot manipulation, 2024. 1, 2 [^6]: Homanga Bharadhwaj, Roozbeh Mottaghi, Abhinav Gupta, and Shubham Tulsiani. Track2act: Predicting point tracks from internet videos enables generalizable robot manipulation. In European Conference on Computer Vision (ECCV), 2024. [^7]: Kevin Black, Mitsuhiko Nakamoto, Pranav Atreya, Homer Walke, Chelsea Finn, Aviral Kumar, and Sergey Levine. Zero-shot robotic manipulation with pretrained image-editing diffusion models, 2023. 1, 2 [^8]: Anthony Brohan, Noah Brown, Justice Carbajal, and et al. Rt-1: Robotics transformer for real-world control at scale. In arXiv preprint arXiv:2212.06817, 2022. 1, 2 [^9]: Elliot Chane-Sane, Cordelia Schmid, and Ivan Laptev. Learning video-conditioned policies for unseen manipulation tasks. In ICRA, 2023. 1,2 [^10]: Cheng Chi, Siyuan Feng, Yilun Du, Zhenjia Xu, Eric Cousineau, Benjamin Burchfiel, and Shuran Song. Diffusion policy: Visuomotor policy learning via action diffusion. In 机器人学：科学与系统会议论文集（RSS），2023年。第1、2页。 [^11]: Dima Damen, Hazel Doughty, Giovanni Maria Farinella, Antonino Furnari, Jian Ma, Evangelos Kazakos, Davide Moltisanti, Jonathan Munro, Toby Perrett, Will Price, and Michael Wray. Rescaling egocentric vision: Collection, pipeline and challenges for epic-kitchens-100. International Journal of Computer Vision (IJCV), 130:33–55, 2022. 2,4 [^12]: Yilun Du, Mengjiao Yang, Bo Dai, Hanjun Dai, Ofir Nachum, Joshua B. Tenenbaum, Dale Schuurmans, and Pieter Abbeel. Learning universal policies via text-guided video generation, 2023. 1 [^13]: Alircza Fathi, Jessica K. Hodgins, and James M. Rehg. Social interactions: A first-person perspective. In 2012 IEEE Conference on Computer Vision and Pattern Recognition, pages 1226–1233, 2012. 2, 4 [^14]: Thomas Feix, Javier Romero, Heinz-Bodo Schmiedmayer, Aaron M. Dollar, and Danica Kragic. The grasp taxonomy of human grasp types. IEEE Transactions on Human-Machine Systems, 46(1):66–77, 2016. 4 [^15]: Pete Florence, Corey Lynch, Andy Zeng, Oscar Ramirez, Ayzaan Wahid, Laura Downs, Adrian Wong, Johnny Lee, Igor Mordatch, and Jonathan Tompson. Implicit behavioral cloning. Conference on Robot Learning (CoRL), 2021. 1, 2 [^16]: Kristen Grauman, Andrew Westbury, and et al. Ego4d: Around the world in 3,000 hours of egocentric video, 2022. 1,2,3,4,7 [^17]: Jonathan Ho, Ajay Jain, and Pieter Abbeel. Denoising diffusion probabilistic models, 2020. 5 [^18]: Jonathan Ho, Tim Salimans, Alexey Gritsenko, William Chan, Mohammad Norouzi, and David J. Fleet. Video diffusion models, 2022. 2 [^19]: Vincent Tao Hu, Wenzhe Yin, Pingchuan Ma, Yunlu Chen, Basura Fernando, Yuki M Asano, Efstratios Gavves, Pascal Mettes, Bjorn Ommer, and Cees G. M. Snoek. Motion flow matching for human motion synthesis and editing, 2023. 2 [^20]: Vidhi Jain, Maria Attarian, Nikhil J Joshi, Ayzaan Wahid, Danny Driess, Quan Vuong, Pannag R Sanketi, Pierre Sermanet, Stefan Welker, Christine Chan, Igor Gilitschenski, Yonatan Bisk, and Debidatta Dwibedi. Vid2robot: End-to-end video-conditioned policy learning with cross-attention transformers, 2024. 1, 2 [^21]: Eric Jang, Alex Irpan, Mohi Khansari, Daniel Kappler, Frederik Ebert, Corey Lynch, Sergey Levine, and Chelsea Finn. BC-z: Zero-shot task generalization with robotic imitation learning. In 5th Annual Conference on Robot Learning, 2021. 1 [^22]: Ananth Jonnavittula, Sagar Parekh, and Dylan P. Losey. View: Visual imitation learning with waypoints, 2024. 1, 2 [^23]: Siddharth Karamcheti, Suraj Nair, Annie S. Chen, Thomas Kollar, Chelsea Finn, Dorsa Sadigh, and Percy Liang. Language-driven representation learning for robotics. In Robotics: Science and Systems (RSS), 2023. 2 ## [^24]: Alexander Khazatsky, Karl Pertsch, and et al. Droid: A large-scale in-the-wild robot manipulation dataset, 2024. 1 --- [^25]: Po-Chen Ko, Jiayuan Mao, Yilun Du, Shao-Hua Sun, and Joshua B. Tenenbaum. Learning to act from actionless videos through dense correspondences, 2023. 1 [^26]: PKU-Yuan Lab and Tuzhan AI etc. Open-sora-plan, 2024. 2,7 [^27]: Yong Jae Lee, Joydeep Ghosh, and Kristen Grauman. Discovering important people and objects for egocentric video summarization. In 2012 IEEE Conference on Computer Vision and Pattern Recognition, pages 1346–1353, 2012. 2, 4 [^28]: Yin Li, Miao Liu, and James M. Rehg. In the eye of the beholder: Gaze and actions in first person video, 2020. 2, 4 [^29]: Yunze Liu, Yun Liu, Che Jiang, Kangbo Lyu, Weikang Wan, Hao Shen, Boqiang Liang, Zhoujie Fu, He Wang, and Li Yi. Hoi4d: A 4d egocentric dataset for category-level human-object interaction. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 21013–21022, 2022. 4 [^30]: Zheng Lu and Kristen Grauman. Story-driven summarization for egocentric video. In 2013 IEEE Conference on Computer Vision and Pattern Recognition, pages 2714–2721, 2013. 2,4 [^31]: Camillo Lugaresi, Jiuqiang Tang, Hadon Nash, Chris McClanahan, Esha Uboweja, Michael Hays, Fan Zhang, Chuo-Ling Chang, Ming Guang Yong, Juhyun Lee, Wan-Teh Chang, Wei Hua, Manfred Georg, and Matthias Grundmann. Mediapipe: A framework for building perception pipelines, 2019. 4,5 [^32]: Yecheng Jason Ma, William Liang, Vaidehi Som, Vikash Kumar, Amy Zhang, Osbert Bastani, and Dinesh Jayaraman. Liv: Language-image representations and rewards for robotic control, 2023. 2 [^33]: Chong Mou, Xintao Wang, Liangbin Xie, Yanze Wu, Jian Zhang, Zhongang Qi, Ying Shan, and Xiaohu Qie. T2i-adapter: Learning adapters to dig out more controllable ability for text-to-image diffusion models, 2023. 2 [^34]: Georgios Pavlakos, Dandan Shan, Ilija Radosavovic, Angjoo Kanazawa, David Fouhey, and Jitendra Malik. Reconstructing hands in 3D with transformers. In CVPR, 2024. 4, 2, 3 [^35]: Hamed Pirsiavash and Deva Ramanan. Detecting activities of daily living in first-person camera views. In 2012 IEEE Conference on Computer Vision and Pattern Recognition, pages 2847–2854, 2012. 2, 4 [^36]: Sigal Raab, Inbal Leibovitch, Guy Tevet, Moab Arar, Amit H Bermano, and Daniel Cohen-Or. Single motion diffusion. In The Twelfth International Conference on Learning Representations (ICLR), 2024. 2 [^37]: Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, Gretchen Krueger, and Ilya Sutskever. Learning transferable visual models from natural language supervision, 2021. 5, 6 [^38]: Weiming Ren, Huan Yang, Ge Zhang, Cong Wei, Xinrun Du, Wenhao Huang, and Wenhu Chen. Consisti2v: Enhancing visual consistency for image-to-video generation, 2024. 2, 7 [^39]: Javier Romero, Dimitrios Tzionas, and Michael J. Black. Embodied hands: modeling and capturing hands and bodies 《ACM图形学交易》第36卷第6期：1–17页，2017年。 [^40]: Dandan Shan, Jiaqi Geng, Michelle Shu, and David Fouhey. Understanding human hands in contact at internet scale. In CVPR, 2020. 3 [^41]: Jing Shi, Wei Xiong, Zhe Lin, and Hyun Joon Jung. Instant-booth: Personalized text-to-image generation without test-time finetuning, 2023. 2 [^42]: Mohit Shridhar, Lucas Manuelli, and Dieter Fox. Perceiver-actor: A multi-task transformer for robotic manipulation. In Proceedings of the 6th Conference on Robot Learning (CoRL), 2022. 1, 2 [^43]: Gunnar A. Sigurdsson, Abhinav Gupta, Cordelia Schmid, Ali Farhadi, and Karteek Alahari. Charades-ego: A large-scale dataset of paired third and first person videos, 2018. 2, 4 [^44]: Jascha Sohl-Dickstein, Eric A. Weiss, Niru Maheswaranathan, and Surya Ganguli. Deep unsupervised learning using nonequilibrium thermodynamics, 2015. 5 [^45]: Guy Tevet, Sigal Raab, Brian Gordon, Yoni Shafir, Daniel Cohen-or, and Amit Haim Bermano. Human motion diffusion model. In The Eleventh International Conference on Learning Representations, 2023. 2, 4, 5, 6 [^46]: Thomas Unterthiner, Sjoerd van Steenkiste, Karol Kurach, Raphael Marinier, Marcin Michalski, and Sylvain Gelly. Fvd: A new metric for video generation. In DGS@ICLR, 2019. 7 [^47]: Boyang Wang, Nikhil Sridhar, Chao Feng, Mark Van der Merwe, Adam Fishman, Nima Fazeli, and Jeong Joon Park. This&that: Language-gesture controlled video generation for robot planning, 2024. 1 [^48]: Chen Wang, Linxi Fan, Jiankai Sun, Ruohan Zhang, Li Fei-Fei, Danfei Xu, Yuke Zhu, and Anima Anandkumar. Mimicplay: Long-horizon imitation learning by watching human play, 2023. 1,2 [^49]: Xiang Wang, Hangjie Yuan, Shiwei Zhang, Dayou Chen, Jiaruniu Wang, Yingya Zhang, Yujun Shen, Deli Zhao, and Jingren Zhou. Videocomposer: Compositional video synthesis with motion controllability, 2023. 4 [^50]: Yin Wang, Zhiying Leng, Frederick W. B. Li, Shun-Cheng Wu, and Xiaohui Liang. Fg-t2m: Fine-grained text-driven human motion generation via diffusion model. In 2023 IEEE/CVF International Conference on Computer Vision (ICCV), pages 21978–21987, 2023. 2 [^51]: Zhiqiang Wang, Hao Zheng, Yunshuang Nie, Wenjun Xu, Qingwei Wang, Hua Ye, Zhe Li, Kaidong Zhang, Xuewen Cheng, Wanxi Dong, Chang Cai, Liang Lin, Feng Zheng, and Xiaodan Liang. All robots in one: A new standard and unified dataset for versatile, general-purpose embodied agents, 2024. 1 [^52]: Chuan Wen, Xingyu Lin, John So, Kai Chen, Qi Dou, Yang Gao, and Pieter Abbeel. Any-point trajectory modeling for policy learning, 2024. 2 ## [^53]: Hongtao Wu, Ya Jing, Chilam Cheang, Guangzeng Chen, Jiafeng Xu, Xinghang Li, Minghuan Liu, Hang Li, and Tao Kong. Unleashing large-scale video generative pre-training for visual robot manipulation. In International Conference on Learning Representations, 2024. 2 --- [^54]: Jinbo Xing, Menghan Xia, Yong Zhang, Haoxin Chen, Wangbo Yu, Hanyuan Liu, Xintao Wang, Tien-Tsin Wong, and Ying Shan. Dynamicrafter: Animating open-domain images with video diffusion priors, 2023. 2, 5, 7, 4 [^55]: Jinbo Xing, Hanyuan Liu, Menghan Xia, Yong Zhang, Xintao Wang, Ying Shan, and Tien-Tsin Wong. Tooncrafter: Generative cartoon interpolation. ACM Transactions on Graphics (TOG), 43(6):1–11, 2024. 2, 6, 5 [^56]: Haoyu Xiong, Quanzhou Li, Yun-Chun Chen, Homanga Bharadhwaj, Samarth Sinha, and Animesh Garg. Learning by watching: Physical imitation of manipulation skills from human videos, 2021. 1,2 [^57]: Mengda Xu, Zhenjia Xu, Cheng Chi, Manuela Veloso, and Shuran Song. XSkill: Cross embodiment skill discovery. In 7th Annual Conference on Robot Learning, 2023. 1, 2 [^58]: Mengda Xu, Zhenjia Xu, Yinghao Xu, Cheng Chi, Gordon Wetzstein, Manuela Veloso, and Shuran Song. Flow as the cross-domain manipulation interface. In 8th Annual Conference on Robot Learning, 2024. 1, 2, 6, 7 [^59]: Zhao Yang, Bing Su, and Ji-Rong Wen. Synthesizing long-term human motions with diffusion models via coherent sampling, 2023. 2 [^60]: Zhuoyi Yang, Jiayan Teng, Wendi Zheng, Ming Ding, Shiyu Huang, Jiazheng Xu, Yuanming Yang, Wenyi Hong, Xiaohan Zhang, Guanyu Feng, Da Yin, Xiaotao Gu, Yuxuan Zhang, Weihan Wang, Yean Cheng, Ting Liu, Bin Xu, Yuxiao Dong, and Jie Tang. Cogvideox: Text-to-video diffusion models with an expert transformer, 2024. 2, 7, 3, 4 [^61]: Hu Ye, Jun Zhang, Sibo Liu, Xiao Han, and Wei Yang. I-adapter: Text compatible image prompt adapter for text-to-image diffusion models, 2023. 2 [^62]: Lvmin Zhang, Anyi Rao, and Maneesh Agrawala. Adding conditional control to text-to-image diffusion models, 2023. 2, 6 [^63]: Shiwei Zhang, Jiayu Wang, Yingya Zhang, Kang Zhao, Hangjie Yuan, Zhiwu Qin, Xiang Wang, Deli Zhao, and Jingren Zhou. I2vgen-xl: High-quality image-to-video synthesis via cascaded diffusion models, 2023. 4 [^64]: Tony Z. Zhao, Vikash Kumar, Sergey Levine, and Chelsea Finn. Learning fine-grained bimanual manipulation with low-cost hardware, 2023. 1, 2 [^65]: Yifeng Zhu, Arisrei Lim, Peter Stone, and Yuke Zhu. Vision-based manipulation from single human video with open-world object graphs, 2024. 1