{
  "paper_id": "f0ddc83061646ca16d95b6cc52349572",
  "paper_title": "TASTE-Rob: Advancing Video Generation of Task-Oriented Hand-Object Interaction for Generalizable Robotic Manipulation",
  "paper_authors": [
    "Hongxiang Zhao",
    "Xingchen Liu",
    "Mutian Xu",
    "Yiming Hao",
    "Weikai Chen",
    "Xiaoguang Han"
  ],
  "publication_date": "",
  "publication_venue": "2025 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)",
  "abstract": "本文针对面向任务的手物交互视频生成中现有数据集与模型的关键局限，该技术是为机器人模仿学习生成视频演示的重要途径。现有数据集如 Ego4D 常存在视角不一致和交互错位问题，导致视频质量下降并限制其在精确模仿学习任务中的应用。为此，作者提出 TASTE-Rob——一个包含 100,856 个第一视角手物交互视频的大规模数据集，每个视频均与语言指令精确对齐，并采用一致的相机视角以保证交互清晰。通过在 TASTE-Rob 上微调视频扩散模型（VDM），可生成逼真的物体交互，但仍偶见手部抓握姿态不一致。为提升真实感，作者进一步提出三阶段姿态精炼管线，以改善生成视频中的手部姿态准确性。精心构建的数据集与专门的姿态精炼框架相结合，在生成高质量、面向任务的手物交互视频方面取得显著性能提升，从而实现更优的可泛化机器人操作。TASTE-Rob 数据集和源代码将在项目网站公开。\n",
  "keywords": [
    "面向任务的手物交互",
    "视频生成",
    "机器人操作",
    "模仿学习",
    "第一视角数据集",
    "视频扩散模型",
    "运动扩散模型",
    "手部姿态精炼"
  ],
  "paper_institutions": [
    "SSE, CUHKSZ",
    "FNii, CUHKSZ"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:40:54.934275Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n论文研究如何生成面向任务的第一视角手物交互视频，以解决机器人模仿学习对近似相同演示环境的依赖；相关方法虽开始结合视频扩散模型生成可适配的机器人演示，却受限于机器人数据规模，而现有大规模人类手物数据（如 Ego4D）又存在片段视角变化、语言指令与动作不完整对齐等问题。作者提出 TASTE-Rob 数据集，包含 100,856 个、约 900 万帧的 1080p 第一视角视频，每个片段时长不超过 8 秒，记录单一完整动作，并在固定视角下采集且语言指令含物体限定词；数据覆盖厨房、卧室、餐桌、办公桌等环境以及拾取、放置、推、倒等任务，其中单手任务 75,389 个、双手任务 25,467 个，这种设置直接模仿模仿学习演示所需的固定视角和精确动作条件。方法上，作者先基于 DynamiCrafter 微调图像到视频 latent 扩散模型作为粗略动作规划器，再从粗视频中提取手部关键点序列，使用加入 CLIP 图像条件分支的 Image-to-Hand-Params 运动扩散模型进行精炼，其核心目标为最小化 ||p0 - M(p_t, T, i, t)||_2^2；与从高斯噪声直接生成不同，模型以粗姿态 p_c 初始化并执行 10 步去噪，从而同时保留粗视频的空间感知和运动序列的物理可行性，最后通过帧独立姿态编码器将精炼姿态作为附加条件重新生成视频。训练中第一阶段微调 30K 步、批大小 16、学习率 5×10^-5，第二阶段训练 100K 步、批大小 64、学习率 1×10^-4，第三阶段冻结 VDM 仅训练姿态编码器 30K 步、批大小 32、学习率 5×10^-5，推理采用 50 步视频去噪；评估使用每类动作抽取 2% 样本构成的 TASTE-Rob-Test，以及 Im2Flow2Act 提供的 50 个 Mujoco 任务，前者验证视频与姿态质量，后者验证生成演示跨域驱动机器人操作的有效性。结果显示，TASTE-Rob 在 KVD、FVD、PIC 上达到 0.03、9.43、0.90，优于 CogVideoX 的 0.16、48.72、0.85；相较 Ego4D 微调模型，KVD 从 0.18 降至 0.04、FVD 从 52.17 降至 10.85、PIC 从 0.77 升至 0.88，支持数据对齐与固定视角设计的价值；姿态精炼又使 GPV 从 0.28 降至 0.24、GTCE 从 67.8% 降至 9.7%、HMDA 从 26.4° 降至 11.3°，并将 Mujoco 操作成功率从 84% 提升到 96%，支撑了三阶段管线在稳定抓握和精确放置上的创新。该方法适用于厨房、桌面等日常场景中的新型物体位置和任务轨迹，但当物体发生显著旋转、开合等状态变化时生成质量会下降，这也是未来重点改进方向。\n\n### 关键要点\n\n- TASTE-Rob 提供 100,856 个第一视角手物交互视频，共约 900 万帧，分辨率为 1080p。\n- 每个视频均在固定相机视角下独立录制，时长不超过 8 秒，并且只包含一个与语言指令对应的完整动作。\n- 数据集覆盖厨房、卧室、餐桌、办公桌等环境，包含 75,389 个单手任务和 25,467 个双手任务。\n- 与 Ego4D 相比，TASTE-Rob 的核心区别是静态视角、精确的语言—动作对齐以及更丰富的物体描述限定词。\n- 第一阶段微调 DynamiCrafter，仅训练图像上下文投影器和去噪 U-Net 的空间层，用于生成粗略手物交互视频。\n- 粗视频能够理解目标物体和粗略交互，但抓握姿态会随时间发生不自然变化。\n- 第二阶段使用扩展了环境图像分支的运动扩散模型，根据任务文本、环境图像和粗姿态序列生成更可行的手部运动。\n- 姿态精炼以粗视频姿态作为去噪初始化，而不是从高斯噪声生成，以兼顾空间准确性和动作物理合理性。\n- 第三阶段冻结视频扩散模型，仅训练帧独立姿态编码器，并将精炼姿态可视化序列作为附加控制条件重新生成视频。\n- 在 TASTE-Rob-Test 上，TASTE-Rob 的 KVD、FVD 和 PIC 分别为 0.03、9.43 和 0.90，明显优于 CogVideoX、Open-Sora Plan、DynamiCrafter 和 consistI2V。\n- 姿态精炼使 GTCE 从 67.8% 降至 9.7%，并使 Mujoco 机器人操作成功率从 84% 提升至 96%。\n- 方法的主要约束是当物体出现大幅旋转或开合等显著状态变化时，生成质量会下降。"
}