{
  "paper_id": "1fbd0e54838b263c0b4a3cac5cc59a37",
  "paper_title": "Wh0: Generative World Models as Scalable Sources of Egocentric Human Hand Manipulation Data",
  "paper_authors": [
    "Yangtao Chen",
    "Zixuan Chen",
    "Peiyang Wang",
    "Yong-Lu Li",
    "Jing Huo",
    "Jieqi Shi",
    "Yang Gao"
  ],
  "publication_date": "",
  "publication_venue": "unknown",
  "abstract": "规模化灵巧操作需要模型在物体、场景和任务间泛化，但现有数据源存在规模与场景/具身对齐之间的权衡：遥操作数据与机器人部署对齐良好但采集昂贵，仿真可扩展却受 sim-to-real 差距限制，真实第一视角视频易于扩展但与机器人部署不对齐。论文提出 Wh0 框架，将生成式视频世界模型用作可扩展、可控的第一视角人手操作数据来源，以释放预训练灵巧 VLA 模型的操作能力。Wh0 以语言、物体和场景为条件，利用生成式世界模型构建包含 5 万个片段的第一视角人-物交互视频数据集 WM-H；随后通过手部运动重建和视觉编辑，将生成视频转换为可用于机器人训练的监督信号。WM-H 与有限真实机器人数据协同训练后，可使预训练 VLA 模型适配真实灵巧操作部署。在 18 个真实世界灵巧操作任务上，与仅使用机器人数据后训练的模型相比，Wh0 将未见任务的零样本成功率从 8.3% 提升到 38.9%。消融实验进一步表明，可扩展生成以及场景/具身对齐是性能提升的关键驱动因素。\n",
  "keywords": [
    "生成式世界模型",
    "第一视角视频",
    "人手灵巧操作",
    "视觉语言动作模型",
    "WM-H",
    "场景对齐",
    "具身对齐",
    "手部运动重建",
    "MANO",
    "人形机器人"
  ],
  "paper_institutions": [
    "Shanghai Innovation Institute",
    "Nanjing University",
    "Shanghai Jiaotong University"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:17:00.657066Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对灵巧操作必须跨物体、场景和任务泛化，而遥操作昂贵、仿真存在 sim-to-real 差距、真实第一视角视频又存在场景与具身不对齐的问题，论文提出 Wh0：将生成式视频世界模型作为由算力扩展、可控合成的第一视角人手操作数据引擎，而不是精确机器人动力学模拟器。其核心机制是在相机坐标系下使用统一 MANO 动作空间 a_t=[Δt^l, Δr^l, θ_h^l, Δt^r, Δr^r, θ_h^r]∈R^102，将生成视频中的人手运动重建为机器人可学习的动作监督，并通过场景图像采集编辑、机器人手部外观编辑和少量真实遥操作数据共训练实现人机对齐。Wh0 构建了 WM-H 数据集，包含 5 万个第一视角人-物交互视频、语言指令和 3D 手部姿态标注；指令由双智能体系统平衡名词与属性词覆盖，视频用 Wan-I2V-A14B、Qwen-Image-Edit、Qwen3-VL 和 LightX2V 等组件高效生成，再用 HaWoR 重建 MANO 参数与腕部姿态，选择这些设置是因为它们能以 GPU 算力替代人工、保留自然手物交互，并利用相对成熟的人手重建获得可靠标签。策略采用 VITRA 式 PaliGemma 视觉语言骨干和扩散动作解码器，将机器人关节重定向到 MANO 空间，并与 400 条真实遥操作演示按每批 28% 遥操作、68% WM-H、4% 机器人手编辑帧的比例共训练，从而既保留部署约束又获得视觉和语义多样性。在 Unitree G1 人形机器人与 Inspire 灵巧手上，18 个真实任务各进行 20 次零样本评测，成功率以主要指标衡量，Wh0 将仅用机器人数据后训练的 VITRA 从 8.3% 提升至 38.9%，约为 4.7 倍，并优于使用 HOI4D 真实第一视角视频共训练的 21.4%；场景对齐、具身对齐和数据规模消融分别得到 20.0%、34.7%、5k 时 27.8%、25k 时 32.5%、50k 时 38.9%，支持“可扩展且部署对齐的数据可激活人类视频预训练先验”这一创新。真实应用面向桌面抓取、放置、容器感知操作和工具使用等场景，但受生成视频物理合理性、手部遮挡与重建误差、人手机器人形态差异、强预训练依赖以及单臂抓取放置任务范围限制，未来可扩展至双臂、复杂工具使用和长时序任务。\n\n### 关键要点\n\n- Wh0 将生成式视频世界模型定位为可控的第一视角人手操作数据生成器，以语言指令、物体规格和场景布局为条件按需合成人-物交互视频。\n- WM-H 包含 5 万个第一视角操作视频、语言任务描述和 3D 手部姿态标注，生成成本约为每 1000 个视频 5.44 GPU 小时。\n- 指令生成采用双智能体流程：一个 LLM 扩展可抓物体名词和属性形容词，另一个优先采样低频词并按模板组装指令，以兼顾词汇广度和覆盖频率。\n- WM-H 的名词 h-index 为 201、形容词 h-index 为 117，表明其在 pick、place、grasp 等操作相关语义上具有较均衡的覆盖。\n- 场景对齐通过部署相机采集同视角、同分辨率工作区背景，并以人手作为尺度锚点，再用 Qwen-Image-Edit 插入目标物体，缩小视角、尺度和桌面布局差距。\n- 视频生成使用 Wan-I2V-A14B，并由 Qwen3-VL 生成预期手物状态变化描述，LightX2V LoRA 将推理减少到四步以支持大规模合成。\n- 具身对齐会在选定帧中把人手编辑为具有白色背壳、黑色掌心和指尖的机器人灵巧手，同时尽量保持姿态、位置、物体运动和场景构图不变。\n- Wh0 使用 HaWoR 从生成的人手视频中重建腕部姿态和 MANO 参数，因为成熟的人手重建比机器人手重建更适合大规模提取动作标签。\n- 策略采用 VITRA 式架构，由 PaliGemma 编码图像和语言，扩散动作解码器在 102 维 MANO 动作空间预测未来动作，并将机器人关节重定向到该统一空间。\n- 后训练使用 5 万条 WM-H 与 400 条真实遥操作演示，每批按 28% 遥操作、68% WM-H、4% 机器人手编辑帧采样，以过度采样稀缺机器人数据并保留部署信号。\n- 在 18 个真实世界零样本任务上，VITRA 仅用遥操作微调的成功率为 8.3%，加入真实第一视角视频为 21.4%，加入 WM-H 的 Wh0 达到 38.9%。\n- 方法受限于物理不合理交互、手部遮挡造成的重建噪声、人手机器人形态差异、对人类视频预训练的依赖以及单臂抓取放置范围，后续需扩展到双臂、工具使用和长时序任务。",
  "available_templates": [
    "deep_read",
    "simple"
  ]
}