{
  "paper_id": "1fbd0e54838b263c0b4a3cac5cc59a37",
  "paper_title": "Wh0: Generative World Models as Scalable Sources of Egocentric Human Hand Manipulation Data",
  "paper_authors": [
    "Yangtao Chen",
    "Zixuan Chen",
    "Peiyang Wang",
    "Yong-Lu Li",
    "Jing Huo",
    "Jieqi Shi",
    "Yang Gao"
  ],
  "publication_date": "",
  "publication_venue": "unknown",
  "abstract": "规模化灵巧操作需要模型在物体、场景和任务间泛化，但现有数据源存在规模与场景/具身对齐之间的权衡：遥操作数据与机器人部署对齐良好但采集昂贵，仿真可扩展却受 sim-to-real 差距限制，真实第一视角视频易于扩展但与机器人部署不对齐。论文提出 Wh0 框架，将生成式视频世界模型用作可扩展、可控的第一视角人手操作数据来源，以释放预训练灵巧 VLA 模型的操作能力。Wh0 以语言、物体和场景为条件，利用生成式世界模型构建包含 5 万个片段的第一视角人-物交互视频数据集 WM-H；随后通过手部运动重建和视觉编辑，将生成视频转换为可用于机器人训练的监督信号。WM-H 与有限真实机器人数据协同训练后，可使预训练 VLA 模型适配真实灵巧操作部署。在 18 个真实世界灵巧操作任务上，与仅使用机器人数据后训练的模型相比，Wh0 将未见任务的零样本成功率从 8.3% 提升到 38.9%。消融实验进一步表明，可扩展生成以及场景/具身对齐是性能提升的关键驱动因素。\n",
  "keywords": [
    "生成式世界模型",
    "第一视角视频",
    "人手灵巧操作",
    "视觉语言动作模型",
    "WM-H",
    "场景对齐",
    "具身对齐",
    "手部运动重建",
    "MANO",
    "人形机器人"
  ],
  "paper_institutions": [
    "Shanghai Innovation Institute",
    "Nanjing University",
    "Shanghai Jiaotong University"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:17:00.657066Z",
  "template_tag": "deep_read",
  "summary": "# Wh0: Generative World Models as Scalable Sources of Egocentric Human Hand Manipulation Data\n\n\n**作者 / Authors:** Yangtao Chen, Zixuan Chen, Peiyang Wang, Yong-Lu Li, Jing Huo, Jieqi Shi, Yang Gao\n\n\n**单位 / Institutions:** Shanghai Innovation Institute, Nanjing University, Shanghai Jiaotong University\n\n\n\n**输出语言 / Output Language:** zh\n\n\n\n\n\n\n## 第一轮：问题与贡献\n\n\n### 材料与类型\n\n材料检查：正文与附录完整，含方法流程（Fig.1–3）、数据构建细节（App. A）、训练细节（App. B）、真实机器人评测（Sec.5, App. C）及失败案例；未提供可核验的代码/数据本地副本，项目网站虽称开源，需外部验证。出版日期与期刊/会议未在文档中给出，暂空。原型判定：method。理由：核心贡献是可复现的数据生成与VLA后训练方法（WM-H构建、人-机器人动作对齐、混合训练），而非纯系统集成或综述；系统平台细节服务于方法验证。影响解读的缺口：视频世界模型与手部重建的具体版本/权重、生成数据质量的全量人工审计、真实机器人实验的随机种子与统计检验、与更多基线的公平比较未完全展开；因此对泛化上界与失败模式应保留审慎。\n\n\n\n\n\n### 问题\n\n问题：灵巧操作VLA需要跨物体、场景和任务泛化，但数据源存在“规模 vs 部署对齐”的权衡。遥操作与机器人部署对齐但采集昂贵且平台特定；仿真可扩展但有sim-to-real gap；真实第一视角人类视频可扩展，却存在场景 gap（人类日常环境 vs 机器人工作空间）和 embodiment gap（人手 vs 灵巧机器手）。本文要解决的是：如何以计算可扩展的方式生成与机器人部署场景/ embodiment 更对齐的第一视角人手操作数据，并用它后训练预训练VLA，提升零样本真实机器人灵巧操作。形式化上，可理解为学习策略π(a|o,l)时，用生成数据D_gen与少量真实机器人数据D_robot共同训练，使在未见任务上的成功率最大；但论文未给出显式优化目标。\n\n\n\n\n\n### 概览与阅读路线\n\n一句话：Wh0用可控视频世界模型生成5万条第一视角人手操作视频，经场景对齐、机器人手外观编辑和3D手部动作重建转为机器人可训练监督，再与400条真实遥操作数据联合后训练VLA。核心想法与贡献：把世界模型当“可控人手数据生成器”而非动力学模拟器；WM-H数据管线包含LLM双代理指令生成（noun h-index 201, adjective h-index 117）、Qwen-Image-Edit场景/物体插入、Wan-I2V-A14B视频生成、Qwen-Image-Edit机器人手编辑、HaWoR/MANO动作提取；策略沿用VITRA式PaliGemma+扩散动作解码器，在统一MANO动作空间训练，机器人关节重定向到MANO并复用人类视频归一化。最重要结果：在Unitree G1+Inspire手、18个真实任务、零样本无任务演示条件下，仅机器人数据后训练的VITRA为8.3%，Wh0为38.9%（4.7×）；但这是作者在特定硬件/任务集/协议下的报告，标准差异大（Table 1, Sec.5.2），且依赖人类视频预训练骨干。消融显示场景对齐、embodiment对齐和数据规模均重要（Table 2, Fig.6）；Table 3表明WM-H主要是“激活/对齐”预训练人手先验，而非从零学灵巧技能。优先阅读：Sec.3与Fig.2（数据管线）、Sec.4与Fig.3（动作空间/混合比例）、Sec.5.2–5.4与Table 1–3（证据链）、App. A.6/Fig.7（失败模式）。下一轮问题：生成视频与重建动作的物理/时序错误如何传播到策略？38.9%的方差与任务难度分布如何？与HOI4D真实第一视角视频的公平比较是否受数据量/标注协议影响？场景对齐和手编辑的独立贡献是否可进一步解耦？这也引出对证据强度和可复现性的细读。\n\n\n\n\n## 第二轮：方法与证据\n\n\n### 方法与公式\n\n输入：语言指令、目标物体与场景布局、部署相机拍摄的工作区图像（含人手作为尺度锚点）。输出：50k条WM-H（第一视角人手操作视频、语言标注、3D手部动作标注）以及后训练后的VLA策略。\n\n数据管线关键步骤：\n\n1) 指令生成：LLM双代理；代理A持续扩展可抓取物体的名词与属性形容词，代理B优先采样低频词并按pick the {adj} {noun}等模板组装指令；数据库跟踪词频、拒绝重复指令。用noun/adjective h-index衡量多样性，论文报告noun h-index=201、adjective h-index=117。\n2) 场景对齐：用部署相机、同视角和同分辨率拍工作区；放人手作尺度锚点；Qwen-Image-Edit在矩形引导区域内插入指定物体，最终图像移除矩形，保留桌面布局、光照、视角和已有物体。\n3) 图像到视频：Wan-I2V-A14B以编辑图为初始帧，按语言指令和第一视角/单手提示生成人手操作视频；Qwen3-VL先推断手-物状态变化并追加到视频提示；LightX2V LoRA把生成降到4步。\n4) embodiment对齐：Qwen-Image-Edit在稀疏采样帧把人人手替换为机器人手外观（白壳、黑掌、黑指尖、银色前臂），保持原姿态、位置、物体运动和构图；得到WM-H EA帧。\n5) 动作监督：HaWoR逐帧检测手并回归MANO参数与腕姿；腕姿保留在相机系，关节角保留在MANO参数空间；需要时用MegaSAM相机跟踪关联每帧预测与视频相机轨迹。\n6) 策略学习：VITRA式PaliGemma2-3B编码当前观测和语言，FoV token提供视角线索，cognition token的最终隐状态条件化扩散动作解码器；解码器为DiT-B，预测16步动作chunk。机器人关节重定向到MANO，并复用VITRA从大规模人类视频预计算的逐关节归一化参数。\n\n动作表示（式1）：a_t=[Δt_l, Δr_l, θ_h,l, Δt_r, Δr_r, θ_h,r]∈R^102。Δt、Δr∈R^3是相邻帧腕部相对平移和欧拉角旋转；θ_h∈R^{15×3}是15-DoF MANO手的局部关节旋转；上标l/r为左右手。维度推导：单手3+3+15×3=51维，双手共102维；论文主要用右手，但为统一VITRA空间保留双手维度。\n\n扩散损失（式2）：L_MSE=E_{ε~N(0,1),i}[||ε_hat_i-ε||_2^2]。给定真实动作，采样噪声ε和扩散步i构造加噪动作；网络预测噪声ε_hat_i，MSE迫使预测接近真实噪声。推理从噪声开始，用DDIM 10步、CFG scale 5.0去噪得到动作chunk；训练用100个扩散步和squared-cosine噪声调度，每批重复扩散训练8次。\n\n训练策略：从VITRA初始化；冻结视觉编码器；每批28% teleop、68% WM-H、4% WM-H EA；学习率1×10^-5，VLM权重衰减0.1，总batch 256，最多40k步。机器人数据提供部署约束，WM-H提供视觉/语义多样性，WM-H EA提供外观对齐的额外监督。\n\n\n\n\n\n### 评测设置\n\n数据集与划分：WM-H为50k生成episode，含第一视角人手操作视频、语言和3D手部标注；真实机器人数据为400条Apple Vision Pro遥操作专家轨迹，采集于已见任务和背景，以pick-and-place为主。策略初始化自VITRA，其预训练数据为Ego4D、Epic-Kitchens、EgoExo4D、Something-Something-V2（逐数据集比例在Fig.3中，正文未给数值）。VITRA Real Version使用HOI4D，按每100帧一个episode并配一个语言标注，得到5,511个episode。\n\n评测协议：Unitree G1人形+Inspire灵巧手+头部第一视角相机；18个真实任务、4个场景（抓取、放置、物体特定交互），每任务20次试验，随机物体位姿和场景；所有方法零样本、无测试任务演示。主指标为成功率；同时用Hand-Object Distance（cm）作语言条件物体 grounding 的代理指标。HO距离评测集约5k个生成episode：用LLM生成未见指令、图像编辑模型合成未见物体，人工过滤错误episode；用世界模型轨迹中手速局部极小值和抓取/释放状态变化定位关键交互帧，再估计目标物体位置。该指标不评估手指级灵巧性，低距离是成功操作的必要非充分条件。\n\n基线：π0.5（机器人数据预训练，遥操作FT）；VITRA（人类视频预训练，遥操作FT）；VITRA Real Version（人类视频预训练，遥操作+HOI4D真实第一视角视频Co-FT，R:HOI4D=1:1）；Wh0（人类视频预训练，遥操作+WM-H Co-FT）。消融：去场景对齐、去embodiment对齐、WM-H 5k/25k/50k；以及PaliGemma从头预训练与人类视频预训练的组合（Table 3）。\n\n计算与环境：数据生成约5.44 GPU-hours/1k视频；训练4×NVIDIA H200，每GPU batch 64、总batch 256，最多40k步；推理单张RTX 4090，DDIM 10步、CFG 5.0。用户研究N=72名AI从业者：Part A为5真+5假视频，Part B为20条WM-H视频，Part C为5对编辑前后帧；5点Likert。\n\n缺失与公平性注意：未报告随机种子、逐任务置信区间或统计检验；成功率标准差是跨18个任务，不是跨试验的二项标准误；任务难度分布未给。VITRA Real Version与Wh0的数据量、标注协议和混合比例不同，不能视为严格数据源对照。Table 5显示尺度消融的混合比例也随数据量变化（5k为R:W-EA:W=1:0.06:0.94），因此“规模”与“采样比例”未完全解耦。基线计算预算未完整报告。\n\n\n\n\n\n### 结果与证据\n\n主结果（Table 1，18任务×20 trials，零样本）：π0.5为7.78±15.6%，VITRA为8.3±8.6%，VITRA Real Version为21.4±23.4%，Wh0为38.9±19.8%。相对仅机器人数据后训练的VITRA，Wh0报告4.7×提升；相对使用HOI4D真实第一视角视频的VITRA Real Version，提升约17.5个百分点。该结果支持“WM-H共训优于仅遥操作后训练”，并初步支持生成数据可与真实第一视角视频竞争；但标准差很大，且未给逐任务统计检验。\n\n对齐消融（Table 2）：去场景对齐20.0±24.7%，去embodiment对齐34.7±18.0%，完整Wh0为38.9±19.8%。说明场景对齐影响更大，embodiment对齐也有贡献但幅度较小。Table 2的HO表头写↑，而正文称尺度增大改善grounding、数值从11.9降到10.6，按距离含义应为越低越好；表头箭头与数值方向存在不一致，解读应以正文和Table 3的↓为准。\n\n规模消融（Table 2）：WM-H 5k为27.8±21.8%，25k为32.5±23.5%，50k为38.9±19.8%；随规模增加成功率上升，支持“对齐数据随规模更有效”。但5k、25k、50k的R:W-EA:W混合比例不同（Table 5），规模与采样比例未完全解耦。\n\n预训练先验分析（Table 3）：仅人类视频预训练、无teleop/WM-H时HO距离13.1±1.8 cm但成功率为0.0；PaliGemma预训练+Teleop为0.8±2.6%；PaliGemma预训练+Teleop+WM-H为0.6±1.6%；人类预训练+Teleop为8.3±8.6%；Wh0为38.9±19.8%、HO 10.6±2.0 cm。该证据支持WM-H主要是“激活/对齐”人类视频预训练先验，而不是从零学习灵巧技能；但绝对成功率仍不高，且依赖强人类视频预训练骨干。\n\n视频质量辅助证据（Table 4）：37.7%的AI生成视频被误判为真实；Part B五维均分3.57–4.18/5，训练适用性3.57±1.31；Part C编辑后姿态一致性4.30±0.85、接触保持4.25±0.84。说明生成数据有一定可用性，但不能据此证明物理正确性或策略安全性。\n\n\n\n\n\n### 相关工作\n\n最接近的工作可分三类。1) VITRA[^7]：同样是人类视频预训练的VLA，并在统一MANO动作空间做后训练；Wh0的差异是不只用真实人类视频预训练，而是把世界模型生成的WM-H作为后训练数据，与400条真机遥操作共训。VITRA仅用遥操作微调时为8.3%，Wh0为38.9%（Table 1）。2) VITRA Real Version：用HOI4D真实第一视角人手视频替代WM-H，按R:HOI4D=1:1共训，5,511个100帧episode；其21.4%低于Wh0的38.9%，但数据量、标注协议、采样比例不同，不能直接归结为“生成优于真实”。3) 世界模型数据引擎、DexWM、Large Video Planner[^26] [^32] [^34]：前者多把视频转为轨迹、点跟踪、物体位姿或3D flow，或学习手条件动力学；Wh0把生成的人手视频当作VLA后训练数据，强调场景对齐和机器人手外观编辑，而非精确动力学模拟。成本上，Wh0报告每1k视频约5.44 GPU-hours，省去人手采集，但依赖Qwen-Image-Edit、Wan-I2V-A14B、Qwen3-VL、HaWoR/MegaSAM等外部模型；这些依赖的版本、权重、许可和失败率论文未完整报告，待外部核验。以上比较基于论文自述，外部复现待核验。\n\n\n\n\n\n### 关键图表解读\n\n1) Fig.2（Sec.3）：WM-H数据合成管线总览，展示指令生成、场景/embodiment对齐视频合成、手部动作提取三段式流程。它支撑的核心主张是“场景、物体、任务和外观可作为可控设计变量，靠GPU算力扩展”。比较条件是示意性管线而非定量对照；具体生成质量要看App. A.5用户研究和Fig.7失败案例，图示本身不能证明物理合理性。\n\n2) Fig.3（Sec.4）：策略架构与数据组成。上半部分显示VITRA式PaliGemma+扩散解码器在统一MANO空间去噪，条件为cognition特征、FoV和当前手状态；下半部分显示预训练混合与后训练混合（28% teleop、68% WM-H、4% WM-H EA）。它支撑“人-机器人统一动作空间+重采样机器人数据”的设计合理性；但预训练各数据集的具体比例只在图中，正文未给数值，且未展示各基线同预算训练曲线。\n\n3) Table 1（Sec.5.2）：主结果，Wh0 38.9% vs VITRA 8.3%、VITRA Real Version 21.4%、π0.5 7.78%。这是全文最强证据，支持“WM-H共训显著提升零样本真实灵巧操作”。限制是18任务×20 trials、跨任务标准差很大，未给逐任务置信区间或显著性检验；评测还使用stage-conditioned指令和统一的抓取先验，公平性依赖这些协议对所有方法一致执行。\n\n4) Table 2（Sec.5.3）：对齐与规模消融。去场景对齐降至20.0%，去embodiment对齐降至34.7%，5k/25k/50k为27.8%/32.5%/38.9%。它支撑“场景对齐、embodiment对齐和规模都是增益驱动因素”；Fig.6进一步用动作特征余弦相似度说明编辑外观后特征更稳定。限制是消融混合比例不完全一致，HO表头箭头与数值方向矛盾，且“场景对齐”与“物体分布对齐”可能纠缠。\n\n5) Table 3（Sec.5.4）：预训练先验消融。仅人类预训练成功率0.0%，人类预训练+Teleop为8.3%，Wh0为38.9%；无人类预训练时Teleop或Teleop+WM-H接近0–0.8%。它支撑“WM-H主要激活/对齐预训练人手先验，而非从零学灵巧技能”。限制是绝对成功率仍低，且结论依赖VITRA式人类视频预训练骨干，不能外推为“生成数据可替代大规模预训练”。\n\n总体看，图表链支持“可控生成+对齐+共训”的有效性，但对统计稳健性、数据源公平比较和外部复现仍留有余地；这自然引出对证据强度和可复现性的评估。\n\n\n\n\n\n### 术语表\n\nWM-H：论文构建的50k第一视角人手操作视频数据集，含语言指令和3D手部动作标注；是Wh0的后训练数据源。\n第一视角人手操作数据：以操作者视角拍摄的人手与物体交互视频；可大规模采集，但存在场景和embodiment与机器人部署不一致的问题。\n世界模型作为数据生成器：不把视频世界模型当精确动力学模拟器，而是按语言/物体/场景条件生成多样人手交互视频；这是Wh0的核心定位。\nscene gap：人类日常环境与机器人工作空间在布局、视角、物体分布上的差异。\nembodiment gap：视频中执行者是人人手，而部署执行者是灵巧机器人手，在外观、尺寸、关节结构上的差异。\nMANO：参数化人手模型；本文用15个关节×3维局部旋转加腕部平移/旋转表示手部动作。\n15-DoF MANO hand：每只手15个关节自由度；单手动作51维，双手102维。\n统一MANO动作空间：把机器人关节重定向到MANO参数，使人类视频和机器人数据共享动作表示；好处是可复用人类视频预训练的归一化和先验。\nVITRA-style policy：PaliGemma视觉语言骨干+扩散动作解码器的VLA；本文在其上做WM-H共训。\nPaliGemma2-3B：本文使用的视觉语言骨干；视觉编码器在后训练中冻结。\nFoV token：把相机视场/视角线索经MLP投影为额外token，帮助策略理解视角。\ncognition token：附加到输入序列的可学习token，其最终隐状态作为动作解码器的条件特征。\ndiffusion action decoder：以扩散去噪方式预测未来动作chunk的DiT-B网络；本文预测16步、动作维102。\nDDIM：推理时的确定性/少步扩散采样器；本文用10步。\nCFG：classifier-free guidance；本文推理scale=5.0，用于增强条件遵循。\nCo-FT：在多个数据源上联合微调；本文指遥操作机器人与WM-H（及WM-H EA）混合训练。\nteleop：遥操作真机示范；本文400条，用于提供部署特定约束。\nWM-H EA：对WM-H稀疏帧做机器人手外观编辑后的帧，作为embodiment对齐的额外监督；每批占4%。\nHOI4D：真实第一视角人手-物体交互数据集；本文用作VITRA Real Version的替代真实数据源，按100帧切episode得5,511条。\nHand-Object Distance：策略预测腕部动作与估计目标物体位置之间的距离（cm），作语言条件grounding代理指标；越低越好，但不评估手指级灵巧性。\nh-index（指令多样性）：h表示至少有h个词各出现在至少h个样本中；本文报告noun h-index=201、adjective h-index=117。\nLightX2V LoRA：用于加速Qwen-Image-Edit/Wan-I2V生成的LoRA适配器；把视频生成降到4步。\nHaWoR：从第一视角视频重建世界空间手部运动的方法；本文用它回归MANO参数和腕姿。\nMegaSAM：相机跟踪/重建工具；用于把逐帧手部预测关联到视频相机轨迹。\nQwen-Image-Edit：图像编辑模型；用于插入物体和替换机器人手外观。\nWan-I2V-A14B：图像到视频生成模型；用于从编辑首帧生成人手操作视频。\nQwen3-VL：视觉语言模型；用于生成手-物状态变化描述以改进视频提示。\nretargeting：把机器人关节角映射到人手/MANO空间（或反向）的过程；本文把机器人关节重定向到MANO。\nstage-conditioned instruction：按操作阶段（接近、抓取、放置等）切换语言指令的评测协议；评测者只给下一阶段指令，不手动纠正动作。\ngrasping prior：部署时在前接触阶段约束手指单调闭合的简单先验；所有方法统一使用，用于抑制过早张手。\n\n\n\n\n\n### 全部图表索引\n\nFigure 1：Wh0总览；Sec.1；支撑“WM-H兼具规模与低场景/embodiment gap，并经共训实现零样本泛化”的定位。\nFigure 2：WM-H数据合成管线；Sec.3；核心数据构建证据，详见module_d第1条。\nFigure 3：策略架构与数据组成；Sec.4；展示MANO动作空间、PaliGemma+扩散解码器及预训练/后训练混合比例。\nFigure 4：真实世界评测设置；Sec.5.1；展示Unitree G1+Inspire手、头部相机、已见/未见物体和背景。\nFigure 5：零样本真实任务rollout；Sec.5.2；定性展示容器放置、小物体抓取、工具使用等未见组合。\nFigure 6：场景/embodiment对齐效果；Sec.5.3；展示无场景对齐时视频漂移、编辑手保持姿态，以及动作特征余弦相似度。\nFigure 7：WM-H失败案例；App. A.6；展示图像编辑错误、物理不合理交互、前后不一致、无效指令、手编辑问题。\nFigure 8：WM-H定性可视化；App. A.5；展示多样物体、抓取类型和场景。\nFigure 9：Wh0机器人执行rollout；App. C.3；定性展示抓取、容器放置、桌面交互。\nFigure 10：更多Wh0 rollout及与VITRA基线对比；App. C.3；定性比较手-物交互一致性。\nTable 1：真实世界灵巧操作主结果；Sec.5.2；π0.5、VITRA、VITRA Real Version、Wh0的成功率对比，核心证据。\nTable 2：场景/embodiment对齐与WM-H规模消融；Sec.5.3；含HO human、HO robot、任务成功率；注意HO表头箭头与数值方向不一致。\nTable 3：人类视频预训练、teleop、WM-H三因素消融；Sec.5.4；支撑“WM-H激活预训练先验而非从零学习”。\nTable 4：72人用户研究；App. A.5；Part A真假判断与线索、Part B五维质量、Part C编辑前后姿态/接触保持。\nTable 5：各模型/消融的训练数据混合比例；App. B.4；R=teleop、W=WM-H、W-EA=embodiment-aligned WM-H；用于核对公平性和消融条件。\nPrompt boxes A.1–A.4：附录A.1–A.4中的词汇扩展、场景图像编辑、Qwen3-VL视频动力学、图像到视频、embodiment编辑提示模板；属于实现细节，未以正式编号表格呈现。\n缺失/不可核验：文档以图像占位符给出Fig.1–10，未能直接核验像素内容；图注和正文可读，但视觉细节需查原论文或项目页。附录A–C存在，未发现缺失章节；代码/数据本地副本未提供，项目网站声称开源，待外部验证。\n\n\n\n\n## 第三轮：评估与复现\n\n\n### 可信度、局限与复现\n\n可信结论（作者证据范围内）：\n\n1) 主效应：Table 1 的 18 任务×20 trials 零样本评测中，Wh0 38.9% 高于仅 teleop 的 VITRA 8.3% 和 π0.5 7.78%，方向明确；但这是作者硬件/任务集/协议下的结果，跨任务标准差大，未报告随机种子、逐任务置信区间或显著性检验，4.7×是相对增益而非绝对可靠性。\n2) 对齐与规模：Table 2 去场景对齐降至 20.0%，去 embodiment 降至 34.7%，5k/25k/50k 为 27.8/32.5/38.9%，支持场景对齐、外观对齐和规模均有贡献；但 Table 5 显示 5k 与 50k 的 R:W-EA:W 比例不同，规模与采样比例未解耦，且 Table 2 的 HO 表头箭头与正文“越低越好”冲突，需以正文/Table 3 方向为准。\n3) 预训练先验：Table 3 中无人类视频预训练时 teleop 或 teleop+WM-H 接近 0–0.8%，有人类预训练+teleop 为 8.3%，Wh0 为 38.9%，较可信地说明 WM-H 主要是激活/对齐人类视频预训练先验，而非从零学灵巧技能；但绝对成功率仍低，结论依赖 VITRA 式骨干。\n4) 视频可用性：Table 4 的 72 人用户研究显示 37.7% AI 视频被误判为真实、训练适用性 3.57/5，支持“可用的监督信号”，但不能证明物理正确性或策略安全性。\n\n证据不足或待核验：\n\n- “生成数据优于真实第一视角视频”仅由 VITRA Real Version 21.4% 对 Wh0 38.9% 支持；HOI4D 仅 5,511 episodes、R:HOI4D=1:1，而 Wh0 为 50k、28:68:4，数据量/标注/混合比例不匹配，不能直接归因于生成。\n- 失败率未量化：Fig.7 只给失败类型，未给 50k 中物理不合理、时序不一致、手编辑破坏姿态的比例，无法估计噪声监督对策略的污染上界。\n- 泛化边界：仅单臂 pick-and-place、Unitree G1+Inspire、18 任务；双臂、工具使用、长时程、其他手/机器人未验证。\n- 可复现性：代码/数据仅有项目页“开源”声明，未在本文档中提供本地副本；Wan-I2V-A14B、Qwen-Image-Edit、Qwen3-VL、HaWoR、MegaSAM、LightX2V 的版本/权重/许可与失败率未完整报告。\n\n关键假设：部署相机可固定采集工作区并放入人手作尺度锚点；图像编辑能按指令插入物体且不破坏布局；Wan 能从单帧生成合理手-物交互；HaWoR 在遮挡下仍能回归可用 MANO；机器人关节可重定向到 MANO 并复用人类视频归一化；VITRA 人类视频预训练权重可获得。任一假设失效，WM-H 的监督质量或迁移性会显著下降。\n\n复现计划：\n\n- 必备产物：App. A.1–A.4 的提示模板；VITRA/PaliGemma2-3B 初始化；Wan-I2V-A14B、Qwen-Image-Edit、Qwen3-VL、HaWoR、MegaSAM、LightX2V LoRA 的固定版本与权重；Unitree G1+Inspire 与 Vision Pro 遥操作；部署相机、18 任务物体/背景；项目页代码与 WM-H（待核验）。若代码/权重未释放，完整复现阻塞。\n- 关键设置：50k WM-H；约 5.44 GPU-hours/1k 视频；400 条 teleop；每批 28% teleop、68% WM-H、4% WM-H EA；冻结视觉编码器；4×H200、总 batch 256、最多 40k 步、LR 1e-5、weight decay 0.1；扩散 100 步、squared-cosine；推理 RTX 4090、DDIM 10 步、CFG 5.0；动作 102 维、16 步 chunk；机器人关节重定向到 MANO；评测用 stage-conditioned instruction 和统一 grasping prior。\n- 验证步骤：先按同口径复现 Table 1（18×20 trials），并加 3 个随机种子、逐任务 bootstrap 置信区间和配对检验；再做匹配预算消融：固定总样本与 R:W 比例，分别切换场景对齐/embodiment 对齐和 5k/25k/50k；再做与 HOI4D 的匹配数据量、匹配标注协议对照；最后按 Fig.7 失败类型标注生成数据，训练过滤/重加权版本，测量错误传播。\n- 成功标准：多 seed 下 Wh0 平均成功率显著高于仅 teleop VITRA，且 Table 2 的 scene>embodiment 方向复现；固定混合比例后规模单调增益仍成立；Table 3 的“无人类预训练接近零”复现；匹配预算下若 WM-H 对 HOI4D 的优势消失，则应把“生成优于真实”降级为条件性结论。\n- 主要阻塞：生成模型/重建工具版本与许可、项目页资产、HOI4D 标注协议、机器人标定与抓取先验细节、随机种子和统计方案。\n\n\n\n\n\n### 应用约束\n\n数据与算力：需要部署相机拍摄的工作区图像、人手尺度锚点、50k 生成视频和 400 条遥操作；论文报告约 5.44 GPU-hours/1k 视频，50k 仅视频生成约 272 GPU-hours，不含图像编辑、手部重建、失败重采样和人工质检，实际总成本更高。训练为 4×NVIDIA H200、总 batch 256、最多 40k 步；推理单卡 RTX 4090。论文未给端到端生成吞吐、存储量和训练总 GPU-hours，不能据此做精确 TCO。\n延迟：推理使用 DDIM 10 步、CFG 5.0、16 步动作 chunk，但未报告控制频率、端到端延迟或吞吐；因此只能确认“可在单张 4090 上部署”的硬件设定，不能声称实时性。\n鲁棒性与适用范围：已演示的是 Unitree G1+Inspire 手、18 个真实任务、零样本、stage-conditioned 指令和统一 grasping prior 下的单臂 pick-and-place；未演示双臂、工具使用、长时程、接触力安全或 other embodiments。生成器可能产生物理不合理、时序不一致和手编辑破坏姿态，手-物遮挡会降低 HaWoR 重建质量，机器人手更大可能扰动物体。Table 3 表明没有人类视频预训练骨干时 WM-H 接近无效。\n适用条件：适合已有人类视频预训练 VLA、能把机器人关节重定向到 MANO、并能固定部署相机采集工作区的团队；需要外部生成模型栈和逐机器人/工作区标定。若无法获得 VITRA 式预训练权重或生成模型许可，方法收益和可复现性都会显著下降。\n\n\n\n\n\n### 探索问题\n\n1) 在匹配数据量、标注协议和采样比例后，WM-H 相对真实第一视角视频（HOI4D）的优势是否仍成立？验证：固定 teleop 比例与总样本预算，分别用 5k/25k/50k 的 WM-H 与等量 HOI4D episodes 训练，统一 100 帧标注和评测协议，报告多 seed 逐任务置信区间。收益：把“生成优于真实”从混杂比较变成可归因结论。风险：HOI4D 的分布和质量与 WM-H 不同，匹配后优势可能缩小甚至消失。\n2) 生成与重建错误如何传播到策略，过滤/重加权能否提升鲁棒性？验证：按 Fig.7 的失败类型（编辑错误、物理不合理、时序不一致、无效指令、手编辑破坏姿态）标注 WM-H 子集，训练过滤、重加权和课程版本，比较成功率与 Hand-Object Distance。收益：直接估计噪声监督的污染上界并改进数据管线。风险：错误标注成本高，过滤会减少规模并可能引入选择偏差。\n3) WM-H 能否扩展到双臂、工具使用、长时程及其他机器人手？验证：在双臂 Unitree G1 或另一灵巧手上采集少量遥操作，重定向到统一 MANO 空间，增加长时程任务并测试 scaling 曲线。收益：检验方法是否只是单臂 pick-and-place 的局部技巧。风险：人-机形态差异、双臂交互生成质量和长时程一致性都可能使扩展失败。\n\n\n\n\n\n### 引用与核验\n\n核对范围：仅能核对本文正文、表/图和参考文献表，未访问外部论文、项目页或代码库；以下“未核验”均不作已证实。\n支持新颖性/定位的关键引用：[^7] VITRA（骨干、h-index、MANO 归一化、最强基线）；[^63] HOI4D（真实第一视角对照）；[^32] Large Video Planner、[^34] Dexterous World Models、[^26] DexWM（最接近的世界模型/人手数据工作）；[^23] Cosmos、[^55] GigaWorld（数据引擎定位）。这些引用在文中用于界定“把生成人手视频当后训练数据”的差异，但未外部阅读，无法确认其方法细节、版本和是否构成实质性新颖性。\n最强比较的引用：VITRA [^7] 与 π0.5 [^62] 是主基线；VITRA Real Version 由作者用 HOI4D [^63] 构造，非现成基线，需核验其 5,511 episodes/100 帧标注协议和 R:HOI4D=1:1 的实现。Table 1 的公平性还依赖相同评测协议、stage-conditioned 指令和 grasping prior，论文称一致但未给各基线计算预算。\n复现依赖引用：[^22] Wan-I2V-A14B、[^56] Qwen-Image-Edit、[^57] Qwen3-VL、[^46] HaWoR、[^58] MANO、[^59] PaliGemma；MegaSAM 与 LightX2V LoRA 在正文出现但参考文献表未给正式条目/版本，是复现缺口。需核验权重、许可、推理步数和失败率。\n其他引用：RT-1/RT-2/OpenVLA/π0 [1–4]、人类视频/VLA 背景 [5–12,15,16,47–52]、世界模型与数据引擎 [24–37,53–55]、数据集 [^13] [^17] [^18] [^21] [^60] [^61] 未逐条核对，仅作为背景/定位引用。\n内部证据问题：Table 2 的 HO 箭头与正文方向冲突；Table 5 显示规模消融混合比例不一致；未报告种子/置信区间。这些不是引用核验，但会直接影响“可信结论”的强度。项目页声称开源代码与视频，未访问，待核验。\n\n\n\n\n\n### 最终判断\n\n总体判断：最值得信任的是“在作者设定的 Unitree G1+Inspire、18 任务、零样本协议下，WM-H 共训显著优于仅 teleop 后训练”，以及“WM-H 主要激活人类视频预训练先验、场景对齐和规模有增益”的方向性证据；最不应直接采信的是“生成数据已优于真实第一视角视频”“可替代大规模预训练”和“可泛化到更广灵巧操作”的外推。使用时应把它视为一套数据生成+共训 recipe，而不是即插即用系统：先核验项目页代码/数据、VITRA 与 HOI4D 协议、生成/重建模型版本，再做匹配预算的多 seed 复现和小规模对齐消融。下一步优先确认开源资产与外部依赖许可，再决定是否投入 50k 规模生成。"
}