{
  "paper_id": "f0ddc83061646ca16d95b6cc52349572",
  "paper_title": "TASTE-Rob: Advancing Video Generation of Task-Oriented Hand-Object Interaction for Generalizable Robotic Manipulation",
  "paper_authors": [
    "Hongxiang Zhao",
    "Xingchen Liu",
    "Mutian Xu",
    "Yiming Hao",
    "Weikai Chen",
    "Xiaoguang Han"
  ],
  "publication_date": "",
  "publication_venue": "2025 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)",
  "abstract": "本文针对面向任务的手物交互视频生成中现有数据集与模型的关键局限，该技术是为机器人模仿学习生成视频演示的重要途径。现有数据集如 Ego4D 常存在视角不一致和交互错位问题，导致视频质量下降并限制其在精确模仿学习任务中的应用。为此，作者提出 TASTE-Rob——一个包含 100,856 个第一视角手物交互视频的大规模数据集，每个视频均与语言指令精确对齐，并采用一致的相机视角以保证交互清晰。通过在 TASTE-Rob 上微调视频扩散模型（VDM），可生成逼真的物体交互，但仍偶见手部抓握姿态不一致。为提升真实感，作者进一步提出三阶段姿态精炼管线，以改善生成视频中的手部姿态准确性。精心构建的数据集与专门的姿态精炼框架相结合，在生成高质量、面向任务的手物交互视频方面取得显著性能提升，从而实现更优的可泛化机器人操作。TASTE-Rob 数据集和源代码将在项目网站公开。\n",
  "keywords": [
    "面向任务的手物交互",
    "视频生成",
    "机器人操作",
    "模仿学习",
    "第一视角数据集",
    "视频扩散模型",
    "运动扩散模型",
    "手部姿态精炼"
  ],
  "paper_institutions": [
    "SSE, CUHKSZ",
    "FNii, CUHKSZ"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:40:54.934275Z",
  "template_tag": "deep_read",
  "summary": "# TASTE-Rob: Advancing Video Generation of Task-Oriented Hand-Object Interaction for Generalizable Robotic Manipulation\n\n\n**作者 / Authors:** Hongxiang Zhao, Xingchen Liu, Mutian Xu, Yiming Hao, Weikai Chen, Xiaoguang Han\n\n\n**单位 / Institutions:** SSE, CUHKSZ, FNii, CUHKSZ\n\n\n\n**输出语言 / Output Language:** zh\n\n\n\n\n\n\n## 第一轮：问题与贡献\n\n\n### 材料与类型\n\n材料检查：提供的正文包含摘要、引言、相关工作、数据集构建、方法、实验、结论与参考文献；图5/6和表1-5可读，附录8-12仅被引用而未提供，代码与数据声明将公开但当前不可核验。论文类型判定为 method：核心贡献同时包含数据集与可训练的三阶段生成/姿态精化流程，而非纯系统部署或综述。影响解读的缺口：附录中的数据采集细节、姿态提取与评价指标定义、推理超参和机器人实验设置未完整可见；代码/数据/模型权重可用性待验证；发表信息未在文中给出。\n\n\n\n\n\n### 问题\n\n问题：面向机器人模仿学习的任务导向手-物交互视频生成，即给定语言任务T与环境图像i，生成可作为示范的视频v，要求准确理解操作对象与动作，并保持手部抓取姿态在时序上可行且一致。为何重要：真实机器人数据稀缺，生成HOI视频可复用大规模人类视频，提升新场景泛化。现有不足：Ego4D等数据相机视角不一致、片段与语言指令错位，限制生成质量与精确模仿；通用VDM虽能生成逼真视频，但对任务理解不足，且抓取姿态在操作中跳变/不一致，难以直接用于IL。\n\n\n\n\n\n### 概览与阅读路线\n\n一句话：TASTE-Rob通过构建10万级固定视角且语言对齐的自中心HOI视频数据集，并用三阶段姿态精化管线提升生成视频的抓取可行性，从而为机器人IL提供更可用的视频示范。核心思路与贡献：先用微调DynamiCrafter的Stage I生成粗视频，再由带图像条件分支的MDM从粗视频手部关键点序列做少步去噪精化，最后由帧独立姿态编码器将精化姿态注入Stage III重生成；相对Ego4D-Gen和通用I2V基线，作者报告生成质量与姿态一致性提升。最重要结果：在TASTE-Rob-Test上FVD 9.43、KVD 0.03、PIC 0.90，优于DynamiCrafter/CogVideoX等；消融中完整管线相对Coarse-TASTE-Rob将GTCE从67.8%降至9.7%、HMDA从26.4°降至11.3°，Mujoco+Im2Flow2Act成功率84%到96%。条件与边界：这些是作者在自建测试集与50个仿真任务上的报告，真实世界泛化主要为定性展示；对象发生显著旋转/打开时生成质量下降。作者主张达到SOTA并提升泛化，当前证据主要支持其受控数据集和仿真IL设置。优先阅读：第3节数据构建与表2，第4节与图5/6，5.3/5.4与表3-5。下一轮问题：数据采集是否存在右利手/场景偏置，HaMeR姿态误差如何传播，MDM精化与N_rv权衡的稳健性，基线是否同预算调参，代码与数据能否复现。过渡：下面进入第二轮，重点拆解方法机制与实验证据。\n\n\n\n\n## 第二轮：方法与证据\n\n\n### 方法与公式\n\n输入：任务语言T、环境图像i；输出：任务导向HOI视频v_hat。\nStage I（粗动作规划）：用微调后的DynamiCrafter V生成粗视频v_c_hat。训练目标为Eq2：min_θV E||ε−ε_θ(z_t,T,i,t,fps)||_2^2，其中z=E(v)是视频隐变量，ε是采样高斯噪声，fps为帧率控制；只微调image context projector与spatial layers。\nStage II（手姿态序列精化）：从v_c_hat提取手关键点序列p_c∈R^(L_p×N_h×2)。基础MDM目标为Eq3：min_θM E||p_0−M(p_t,T,t)||_2^2，即直接预测干净运动序列而非单步噪声；每步先由p_t预测p_0,t，再加噪得p_{t−1}。本文加入图像条件分支后为Eq4：min_θM E||p_0−M(p_t,T,i,t)||_2^2。关键创新是不从高斯噪声生成，而把p_c设为p_0,N_rv，做N_rv步部分去噪得到p_hat；N_rv=0无精化，N_rv=50从噪声生成，折中选10。\nStage III（姿态条件重生成）：训练帧独立姿态编码器S，注入方式为F_inject^i=S(s^i,z^i,t)，其中s是p_hat的可视化姿态图，F_inject按ControlNet式方法注入。训练目标为Eq5：min_η E||ε−ε_θ^S(z_t;T,i,s,t,fps)||_2^2，冻结V只训S。\n公式关系：Eq1是标准扩散去噪目标；Eq2把像素视频换到隐空间并加T/i/fps条件；Eq3把MDM改为干净序列预测；Eq4增加CLIP图像条件；Eq5训练姿态控制分支。以上为对论文表述的整理，未提供额外推导。\n小例子：若粗视频中手先捏后握、抓握类型跳变，p_c序列不稳定；MDM以T和i为条件把序列拉回与物体匹配的稳定抓握，再经S注入重生成。\n\n\n\n\n\n### 评测设置\n\n数据：TASTE-Rob 100,856段自中心视频，1080p，每段<8s，固定机位，单动作与语言对齐；75,389单手动，25,467双手动；环境含厨房、卧室、餐桌、办公桌等；任务含拾取、放置、推、倒等。Table2对比Ego4D等数据集。\n划分：按动作类别取2%作TASTE-Rob-Test，其余训练；MuJoCo仿真从Im2Flow2Act平台随机选50个任务。\n指标：FVD、KVD、PIC；GPV=1/L' Σ(θ_i^p−θ̄^p)^2；GTCE抓握类型分类错误；HMDA手运动方向准确度；机器人成功率。\n基线：DynamiCrafter、consistI2V、Open-Sora Plan、CogVideoX；Ego4D-Gen为数据集消融基线；Coarse-TASTE-Rob为无姿态精化基线。\n训练：Stage I DynamiCrafter微调30K steps，batch16，lr5e-5，仅image context projector与spatial layers；Stage II MDM 100K，batch64，lr1e-4；Stage III姿态编码器基于SD 30K，batch32，lr5e-5；推理50步去噪，N_rv=10。\n缺失/偏差：附录8-12未提供，HaMeR姿态提取、指标定义、推理超参、机器人实验设置、硬件/随机种子/误差棒不可核验；Table3通用基线是否同数据同预算调参未说明；Ego4D-Gen与Coarse-TASTE-Rob数据量/采集条件不同，不能完全归因于单一因素；真实世界仅定性。\n\n\n\n\n\n### 结果与证据\n\n决定性证据：\n\n- 生成质量（Table3，TASTE-Rob-Test）：TASTE-Rob KVD 0.03、FVD 9.43、PIC 0.90；DynamiCrafter 0.21/62.36/0.79，CogVideoX 0.16/48.72/0.85，consistI2V 0.24/65.77/0.85，Open-Sora Plan 0.18/50.19/0.84。支持作者“优于通用I2V”的主张，但比较对象是现成模型 vs 本文微调管线。\n- 数据集消融（Table4）：Ego4D-Gen 0.18/52.17/0.77 vs Coarse-TASTE-Rob 0.04/10.85/0.88，支持固定视角/对齐数据带来大幅提升；作者称两者仅训练数据不同。\n- 姿态精化消融（Table5）：Coarse→Full：KVD 0.04→0.03，FVD 10.85→9.43，PIC 0.88→0.90，GPV 0.28→0.24，GTCE 67.8%→9.7%，HMDA 26.4°→11.3°，成功率84%→96%。支持精化管线提升抓握一致性与IL成功率；但GPV绝对变化小，GTCE/HMDA定义与计算细节在未提供附录中。\n- N_rv：正文称N_rv增大先改善后恶化，选10；Table6未在材料中，无法核验具体数值。\n- 边界：成功率为50个MuJoCo任务上的报告，无真实机器人定量；无误差棒/多种子；对象显著旋转/打开时质量下降（作者局限）。\n结论：证据较强支持“数据+三阶段精化”在受控测试集和仿真IL上有效；对通用真实世界SOTA与各组件独立贡献的强主张仍需附录和外部复现验证。\n\n\n\n\n\n### 相关工作\n\n最近相关工作与差异：\n\n- Ego4D-Gen：论文把在Ego4D的83,647个自中心HOI片段上微调DynamiCrafter的模型作为最接近的数据集对照；与Coarse-TASTE-Rob相比，差异被作者归结为训练数据（固定视角、单动作-语言对齐、含描述性限定词 vs 动态视角、片段错位）。成本：Ego4D规模大但需筛选/分割；TASTE-Rob需自行采集10万级1080p视频并保证固定机位与指令对齐。外部事实未核验。\n- 通用I2V基线（DynamiCrafter、consistI2V、Open-Sora Plan、CogVideoX）：论文称它们能生成逼真视频但任务理解/抓取姿态不稳；比较是现成模型 vs 在TASTE-Rob上微调的完整管线，训练预算与数据暴露不完全对等。\n- 与Gen2Act/视频示范IL类工作：本文不直接学习策略，而是生成HOI视频供Im2Flow2Act策略使用；优势是复用人类视频，代价是三阶段生成、HaMeR姿态提取和MDM推理增加时延与工程复杂度。\n- 与MDM/ToonCrafter：借用MDM的干净序列预测与ToonCrafter的帧独立姿态编码器，创新点在于加入图像条件分支、用p_c做N_rv步部分去噪精化，以及把精化姿态注回I2V。\n\n\n\n\n\n### 关键图表解读\n\n重点图表：\n\n1) Figure5（第4节，管线总览）：展示Stage I粗生成→Stage II HaMeR/MDM精化p_c→Stage III姿态编码器重生成；支撑“三阶段解决任务理解与抓握一致性”的核心主张。限制：示意图不暴露失败案例与计算开销。\n2) Figure6（第4.1节，Image-to-Hand-Params MDM）：在MDM上增加CLIP图像条件分支，输入含噪p_t、t、文本c_txt、图像c_img；支撑Stage II能利用环境信息精化姿态。限制：未给网络层数/参数量，无法判断条件融合的具体容量。\n3) Table3（5.3节）：在TASTE-Rob-Test上对比四个通用I2V，TASTE-Rob的FVD/KVD/PIC大幅领先；支撑生成质量主张。限制：基线为现成模型，未说明同预算微调，比较不完全对等。\n4) Table4（5.4节）：Ego4D-Gen vs Coarse-TASTE-Rob，仅换训练数据；支撑数据集设计（固定视角、动作-语言对齐）是性能跃升主因。限制：数据量、采集设备、筛选流程仍不同，“仅数据不同”是作者声明。\n5) Table5（5.4节）：Coarse vs Full在生成、GPV/GTCE/HMDA和MuJoCo成功率上全面改善；支撑姿态精化管线有效。限制：成功率仅50任务仿真，缺真实机器人与误差统计。\n过渡：这些证据把“数据质量”和“姿态精化”分开验证，下一步评价其可复现性、外部有效性与部署成本。\n\n\n\n\n\n### 术语表\n\n术语与符号：\n\n- HOI（Hand-Object Interaction）：手-物交互；本文指自中心视频中手抓取/移动物体的操作。\n- IL（Imitation Learning）：模仿学习；用示范视频训练策略。\n- VDM/I2V：视频扩散模型/图像到视频；以图像和文本为条件生成视频。\n- Latent diffusion：在VAE隐空间z=E(v)做扩散，降低计算量。\n- DynamiCrafter：本文Stage I基座I2V模型；微调其image context projector与spatial layers。\n- MDM（Motion Diffusion Model）：直接预测干净运动序列的扩散模型；本文用其精化手关键点序列。\n- HaMeR：从图像提取手部姿态参数的工具；用于数据分布分析和从粗视频提取p_c。\n- CLIP：文本/图像编码器；本文用CLIP文本嵌入c_txt和图像嵌入c_img作条件。\n- ControlNet式注入：用额外编码分支把姿态条件注入冻结的生成网络。\n- p_c：从粗视频提取的手关键点序列，形状L_p×N_h×2。\n- p_hat：MDM精化后的手姿态序列。\n- s：p_hat的可视化姿态图像序列，供Stage III姿态编码器S使用。\n- N_rv：姿态精化的部分去噪步数；0=不精化，50=从高斯噪声生成，本文选10。\n- FVD/KVD：Fréchet/Kernel Video Distance，越低越好；衡量视频分布距离。\n- PIC：Perceptual Input Conformity，越高越好；衡量生成视频与输入图像的一致性。\n- GPV：Grasping Pose Variance，抓握姿态方差，越低越稳。\n- GTCE：Grasp Type Classification Error，抓握类型分类错误率。\n- HMDA：Hand Movement Direction Accuracy，手运动方向准确度/一致性。\n- 固定视角/静态相机：拍摄中相机不移动，匹配IL示范条件。\n- Determiner：语言指令中的对象限定词（如颜色/材质），用于区分目标物体。\n\n\n\n\n\n### 全部图表索引\n\n提供的图表索引：\n\n- Figure1（引言）：TASTE-Rob生成任务导向HOI视频并用于机器人泛化的示例；对应总体主张。\n- Figure2（3.2节）：环境与HOI任务分布；支撑数据多样性。\n- Figure3（3.2节）：手指间角度分布；支撑抓握姿态多样性。\n- Figure4（3.2节）：手指曲率分布；支撑抓握姿态多样性。\n- Figure5（第4节）：三阶段姿态精化管线总览；核心方法图，详见module_d。\n- Figure6（4.1节）：Image-to-Hand-Params MDM结构；核心Stage II，详见module_d。\n- Figure7（5.3节）：与通用I2V的定性比较；支撑生成质量/泛化主张。\n- Figure8（5.4节）：Ego4D-Gen与Coarse-TASTE-Rob定性比较；支撑数据集消融。\n- Figure9（5.4节）：Coarse与Full定性比较；支撑姿态精化。\n- Figure10（5.4节）：机器人操作对比；支撑IL成功率。\n- Table1（3.2节）：手掌朝向分布；支撑抓握全局姿态多样性及右利手偏置讨论。\n- Table2（3.3节）：与Disney/ADL/Charades-Ego/HOI4D/UT Ego/EGTEA Gaze+/EPIC-KITCHENS/Ego4D的数据集比较；支撑TASTE-Rob的静态相机、动作对齐、描述性限定词等特征。\n- Table3（5.3节）：与四个通用I2V的生成指标比较；核心结果。\n- Table4（5.4节）：Ego4D-Gen vs Coarse-TASTE-Rob；数据集消融。\n- Table5（5.4节）：Coarse vs Full在生成/姿态/机器人成功率上的比较；姿态精化消融。\n缺失：Table6（N_rv消融）被正文引用但未提供；Appendix 8-12、Figure12等未提供，相关细节待核验。\n\n\n\n\n## 第三轮：评估与复现\n\n\n### 可信度、局限与复现\n\n可信结论与证据强度：\n\n- 强证据（受控自建测试集）：Table 3报告TASTE-Rob在TASTE-Rob-Test上KVD 0.03、FVD 9.43、PIC 0.90，优于DynamiCrafter、consistI2V、Open-Sora Plan、CogVideoX。该证据支持“在本任务数据分布内明显优于未适配通用基线”，但比较对象是现成模型对本文在TASTE-Rob上微调的完整管线，训练数据暴露与预算不完全对等，不能单独证明架构普遍优越。\n- 较强证据：Table 4比较Ego4D-Gen（0.18/52.17/0.77）与Coarse-TASTE-Rob（0.04/10.85/0.88），支持数据设计带来大幅提升；但作者称“只差训练数据”，实际数据量（83,647 vs 100,856 clips）、采集设备和筛选流程仍不同，不能完全归因于固定视角/对齐单一因素。\n- 较强但需附录：Table 5显示Coarse→Full将GTCE从67.8%降至9.7%、HMDA从26.4°降至11.3°、MuJoCo成功率84%→96%，支持姿态精化在报告设置下改善抓握类型稳定性和仿真IL；但GPV仅0.28→0.24，绝对变化小，且GTCE/HMDA定义在Appendix 10未提供，不能断言所有细粒度姿态指标稳健。\n- 弱/待验证：真实世界泛化与SOTA主张。正文机器人成功率为50个MuJoCo任务，真实机器人定量未展示；无误差棒/多种子/硬件信息；对象显著旋转/打开时退化是作者自述局限。\n关键假设：1) HaMeR从粗视频提取的p_c足够可靠，误差可被MDM部分去噪纠正而非放大；2) p_hat的可视化姿态s与Stage III重生成一致，ControlNet式注入不引入新伪影；3) 固定视角、单动作、<8s、右利手为主的采集分布能代表目标IL场景；4) Im2Flow2Act策略能跨人-机域差距使用生成视频。若假设破裂，后果是姿态误差传播导致GTCE/HMDA虚高或视觉跳变，Stage III可能过约束手部而破坏物体交互，数据偏置导致左手/动态相机/长时任务泛化差，策略失败也不能归因于视频质量。\n复现计划（核心创新优先）：\n必须产物：TASTE-Rob数据与划分（当前未公开，阻断）；Stage I DynamiCrafter权重与微调代码；HaMeR/关键点提取与p_c格式；Stage II Image-to-Hand-Params MDM（CLIP文本+图像条件、干净序列预测、部分去噪N_rv）；Stage III帧独立姿态编码器S与注入代码；评测脚本（FVD/KVD/PIC、GPV/GTCE/HMDA定义）；Im2Flow2Act策略与50个MuJoCo任务；Stage III所需SD权重。\n已给设置：Stage I 30K steps, batch16, lr5e-5，仅image context projector与spatial layers；Stage II 100K, batch64, lr1e-4；Stage III 30K, batch32, lr5e-5，冻结V只训S；推理50步去噪，N_rv=10。未报告：硬件/GPU数、总训练时长、随机种子、数据采集设备型号与标注者协议、HaMeR版本与关键点定义、指标实现、N_rv消融Table 6、机器人实验随机化/初始状态。\n验证步骤：1) 先在固定Coarse-TASTE-Rob输出上复现Stage II→III，避免Stage I差异污染；检查p_c与p_hat可视化序列，人工盲评比抓握类型跳变。2) 复现Table 5的Coarse vs Full；若GTCE/HMDA趋势不出现，优先核对姿态坐标系、归一化、HaMeR误差和指标定义。3) 做Stage II-only、Stage III-only、完整管线消融，确认增益不是单阶段或更多计算造成。4) 在50个MuJoCo任务上固定策略与评估协议复现成功率，并报告多种子置信区间。5) 若有真实机器人，做预注册的小规模未见场景测试。\n成功标准：定性上消除抓握类型跳变；Table 5方向性复现（GTCE大幅下降、HMDA下降、成功率提升），数值允许因实现差异有偏差；Table 3/4相对排序复现；无数据泄漏；推理可重复。若仅FVD改善而GTCE/HMDA不改善，不能认为核心姿态创新复现成功。\n伪代码（重建用）：输入T,i；v_c=V(T,i)；p_c=HaMeR(v_c)；p_hat=MDM_partial_denoise(p_c,T,i,N_rv=10)；s=visualize(p_hat)；v_hat=V_pose(T,i,s)。\n阻塞项：数据/代码未发布、附录缺失、基线调参不明、指标定义缺失。\n\n\n\n\n\n### 应用约束\n\n数据约束：100,856段1080p自中心视频，每段<8s，固定机位，单动作与语言对齐；75,389单手动、25,467双手动；采集者均为右利手，Table 1显示手掌朝左略多，存在右利手、场景和物体偏置。存储与标注成本高；隐私、采集同意与数据许可未报告。\n计算与延迟：需三阶段训练（Stage I 30K、Stage II 100K、Stage III 30K steps）以及推理时50步视频去噪、HaMeR提取、MDM 10步部分去噪和Stage III重生成；未报告GPU型号/数量、训练时长、显存。推理不是实时，适合离线生成IL示范，不适合在线闭环控制。\n鲁棒性与适用性：依赖固定视角、单动作、短时、语言限定词可区分目标；对象显著旋转/打开时质量下降（作者局限）；真实机器人定量未展示，正文成功率在50个MuJoCo任务上。已展示的是TASTE-Rob-Test生成指标和仿真IL成功率；推断的是真实场景泛化、低时延、低算力和长期任务可用性。部署前应做小规模真实机器人验证、延迟预算和失败恢复设计。\n\n\n\n\n\n### 探索问题\n\n1) 数据因素拆解：验证“固定视角+动作-语言对齐”相对规模/采集条件的独立贡献。做法：从Ego4D按接近TASTE-Rob的片段数、分辨率、固定机位筛选、单动作与指令对齐重建Ego4D-Gen，并匹配训练步数与调参预算；同时把TASTE-Rob下采样到83,647片段再训。收益：判断Table 4的大幅提升主要来自数据质量还是数据量/采集流程；风险：Ego4D无法完全匹配固定机位，筛选会引入人工偏差，结论可能只是“筛选后的数据更好”。\n2) 姿态精化的独立贡献与HaMeR误差鲁棒性：固定Stage I输出，分别只用Stage II、只用Stage III、完整管线；向p_c注入可控关键点噪声或模拟左右手交换，测GTCE/HMDA并做人工盲评。收益：判断MDM是纠正还是放大HaMeR误差，以及能否简化三阶段管线；风险：GTCE/HMDA定义在未提供附录中，需先重建指标，人工评分成本高。\n3) 仿真到真实与跨分布泛化：在真实机器人上使用同一Im2Flow2Act策略，测试未见物体/背景、左手操作、动态相机和长时任务，预注册成功标准。收益：验证论文最强的应用主张；风险：人-机域差距与策略失败会混淆视频质量归因，真实实验成本和安全风险高。\n\n\n\n\n\n### 引用与核验\n\n引用核查状态：仅基于提供的论文正文与参考文献列表，未访问外部论文/代码/项目页；以下均为“文中引用/待外部核验”，不表示已逐条核实。\n\n- 新颖性与最强对比：Ego4D [^16]被用来支撑“现有数据视角不一致、指令错位”的动机和Table 4的Ego4D-Gen对照；文中称Ego4D有83,647个HOI片段、19.2M帧，该数字与比较条件需查Ego4D原始论文/数据集页确认。DynamiCrafter [^54]同时是Stage I基座和PIC/FVD实现来源；其微调设置与基线是否同预算需查代码。consistI2V [^38]、Open-Sora Plan [^26]、CogVideoX [^60]是Table 3最强外部基线，但论文未说明是否在TASTE-Rob上同预算调参，引用只能证明模型存在，不能证明比较公平。\n- 方法依赖：MDM [^45]支撑Stage II的干净序列预测与部分去噪；ToonCrafter [^55]支撑帧独立姿态编码器与ControlNet式注入；ControlNet [^62]支撑注入方式；Im2Flow2Act [^58]是机器人IL策略与MuJoCo任务来源；HaMeR [^34]是关键点/姿态提取依赖；CLIP [^37]是文本/图像条件编码器。复现时必须核对这些原始实现的版本、输入输出格式和许可证。\n- 指标与数据引用：FVD/KVD来自[^46]，PIC来自[^54]；GTCE可能依赖抓握分类体系[^14]（文中引用但Appendix 10未提供，无法确认）。Table 2的Disney[^13]、ADL[^35]、Charades-Ego[^43]、HOI4D[^29]、UT Ego[^27] [^30]、EGTEA Gaze+[^28]、EPIC-KITCHENS[^11]仅用于数据集特征比较，未逐条核验其统计口径。\n- 未个别核查：引言/相关工作的大量IL与视频生成引用（如[1-12,15,20,22,25,32,42,47,48,52,53,56-59,64,65]）按主题分组视为背景，未逐篇验证；这不影响核心复现，但影响“首次/首创”表述的强度。\n- 结论：当前支持来自论文自述与表内数字；外部可复现性、代码/数据可用性、基线公平性和“SOTA”范围均待验证。\n\n\n\n\n\n### 最终判断\n\n最终判断：最值得信任的是“固定视角+动作-语言对齐的大规模HOI数据能显著改善受控生成”和“姿态精化在作者测试集/仿真IL上改善抓握一致性”的方向性结论；最不应直接采信的是“已实现通用真实世界SOTA”和“各组件独立贡献已被完全隔离”。论文适合作为数据集构建与三阶段生成管线的强基线/模板，不适合作为真实机器人部署的即用方案。下一步：先拿到数据与代码，按Table 4→Table 5→MuJoCo成功率顺序做分阶段复现，再决定是否投入真实机器人。"
}