{
  "paper_id": "bc5d04ca6db56c3de3cdc98267047f15",
  "paper_title": "PAM: A Pose-Appearance-Motion Engine for Sim-to-Real HOI Video Generation",
  "paper_authors": [
    "Mingju Gao",
    "Kaisen Yang",
    "Huan-ang Gao",
    "Bohan Li",
    "Ao Ding",
    "Wenyi Li",
    "Yangcheng Yu",
    "Jinkun Liu",
    "Shaocong Xu",
    "Yike Niu",
    "Haohan Chi",
    "Hao Chen",
    "Hao Tang",
    "Yu Zhang",
    "Li Yi",
    "Hao Zhao"
  ],
  "publication_date": "2025",
  "publication_venue": "unknown",
  "abstract": "手-物交互（HOI）重建与合成正日益成为具身智能与AR/VR的核心。然而尽管进展迅速，现有HOI生成研究仍分散于三条互不相通的路线：(1) 仅姿态合成，预测MANO轨迹但不产生像素；(2) 单帧HOI图像生成，从掩码或2D线索幻觉外观但缺乏动态；(3) 视频生成方法，需要完整姿态序列与真值首帧作为输入，无法实现真正的sim-to-real部署。受统一建模理念启发，本文认为HOI生成需要一个将姿态、外观与运动统一于一个连贯框架的引擎。为此提出PAM：用于可控HOI视频生成的姿态-外观-运动引擎。其性能通过以下方式验证：(1) 在DexYCB上取得FVD 29.13（InterDyn为38.83）、MPJPE 19.37mm（CosHand为30.05mm），同时生成更高分辨率的480×720视频（基线为256×256/256×384）；(2) 在OAKINK2上，完整多条件模型将FVD从68.76降至46.31；(3) DexYCB上的输入条件消融表明，深度、分割与关键点的组合一致取得最佳结果；(4) 在使用SimpleHand的下游手部姿态估计任务中，用3400段合成视频（207k帧）增强训练，使仅用50%真实数据加合成数据训练的模型匹敌100%真实数据基线。",
  "keywords": [
    "手-物交互 (HOI)",
    "视频生成",
    "仿真到现实迁移",
    "扩散模型",
    "可控视频生成",
    "MANO",
    "数据增强",
    "手部姿态估计"
  ],
  "paper_institutions": [
    "Peking University",
    "Tsinghua University",
    "BAAI",
    "SJTU",
    "Eastern Institute of Technology",
    "University of Cambridge"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:29:15.893894Z",
  "template_tag": "simple",
  "summary": "### 摘要\n手-物交互（HOI）视频生成研究长期割裂为三条互不相通的路线：仅预测MANO轨迹而不产生像素的纯姿态合成、依赖掩码或2D线索幻觉外观但缺乏时序动态的单帧图像生成，以及需要完整姿态序列与真值首帧作为输入的视频生成方法——后者因模拟器无法提供真值首帧而无法实现真正的sim-to-real部署。针对这些局限，本文提出PAM（Pose-Appearance-Motion）引擎，仅需初始与目标手部姿态及物体几何作为输入即可生成可控的逼真HOI视频，其核心生成函数为 f_θ: (h_0, m, o_0, h_T) → {I_t}_{t=0}^{T}，其中 h_0、h_T 为初始/目标MANO手部姿态，m 为无外观物体网格，o_0 为初始6自由度物体姿态。该框架将生成解耦为三个阶段：第一阶段用预训练GraspXL模型插值出物理一致的手物姿态轨迹；第二阶段基于微调Flux的ControlNet，以深度图、语义分割与手部关键点三模态条件（经VAE编码后通道拼接、经零卷积 f_l = f_l + Z(f'_l) 注入DiT块）合成逼真首帧；第三阶段将姿态序列光栅化为同构多模态条件，注入基于CogVideoX的可控视频扩散模型生成完整视频，训练时以0.2概率随机掩码各条件以防止单模态过度依赖。实验选用DexYCB（s0划分，6400训练/1600验证视频）与OAKINK2（精选8000段49帧视频，6400训练/1600验证）两个标准基准，分别覆盖单手与双手交互以验证方法有效性与泛化能力；深度图由DepthCrafter估计，语义与关键点取自数据集标注。评价指标涵盖图像质量（SSIM、LPIPS、PSNR）、时空一致性（FVD）、运动保真度（MF，基于CoTracker3点跟踪轨迹相关性）与手部姿态精度（MPJPE，经Hamer估计21个关节）。结果显示：DexYCB上取得FVD 29.13（InterDyn为38.83）、MPJPE 19.37mm（CosHand为30.05mm）、MF 0.712，且在更高分辨率480×720下生成（基线仅256×256/256×384）；OAKINK2上全条件模型将FVD从68.76降至46.31、MPJPE从14.49降至7.01；条件消融证明深度+分割+关键点组合一致最优，支持多条件设计这一核心创新；下游手部姿态估计任务中，用3400段合成视频（207,400帧）增强SimpleHand训练，仅用50%真实数据加合成数据即匹敌100%真实数据基线（PA-MPJPE均为5.5），验证了合成数据的实用价值。未来方向包括扩展到更复杂的物体交互或将运动与外观阶段统一为端到端模型。该方法适用于具身智能与AR/VR中的数据增强、机器人操作技能迁移等真实场景，但受限于三阶段误差传播（第一阶段几何误差如穿模或缺失接触会传导至后续阶段）、全流程40帧约301.1秒的推理开销与Stage-II峰值显存41.4GB，以及对输入条件质量的依赖。\n\n### 关键要点\n- 方法架构：PAM将HOI视频生成解耦为姿态生成（GraspXL插值轨迹）、外观生成（Flux+ControlNet合成首帧）与运动生成（CogVideoX视频扩散）三阶段，仅需初始/目标姿态与物体几何输入，突破以往方法依赖真值首帧与完整姿态序列的瓶颈。\n- 多模态条件设计：外观与运动阶段均以深度图、语义分割与手部关键点为条件，经VAE编码为潜变量后在通道维度拼接，通过零卷积注入DiT块，训练时仅更新ControlNet参数。\n- 随机掩码鲁棒性：训练时以0.2概率随机掩码各模态条件以防止单模态过度依赖；噪声输入下掩码使FVD从34.58降至30.45、MPJPE从23.67降至20.31，显著提升对噪声的鲁棒性。\n- 数据设置：DexYCB采用s0划分（6400训练/1600验证视频），OAKINK2精选8000段49帧视频（6400训练/1600验证）；深度图由DepthCrafter估计，语义与关键点信息直接来自数据集标注。\n- 评价指标体系：从图像质量（SSIM/LPIPS/PSNR）、时空一致性（FVD）、运动保真度（MF，采样100个前景点用CoTracker3跟踪并比较轨迹相关性）与手部姿态精度（MPJPE，Hamer估计关节）四个维度评估。\n- DexYCB主要结果：FVD 29.13、MF 0.712、LPIPS 0.069、SSIM 0.914、PSNR 30.17、MPJPE 19.37mm，全面超越CosHand、InterDyn与ManiVideo，且生成480×720高分辨率视频（基线仅256×256/256×384）。\n- OAKINK2结果：全条件模型FVD从CosHand的68.76降至46.31，MPJPE从14.49降至7.01，MF从0.651升至0.777，验证跨数据集优越性。\n- 条件消融发现：深度+分割+关键点三条件组合在所有指标上一致最优；仅用手部关键点虽MPJPE较低（20.70）但缺乏全局几何语义导致其他指标欠佳，证明局部细节需与全局场景理解结合。\n- 下游任务验证：用3400段合成视频（207,400帧）增强SimpleHand手部姿态估计训练，50%真实数据+合成数据达到PA-MPJPE 5.5，与100%真实数据基线持平，证明合成数据可有效补偿真实数据不足。\n- 零样本泛化：在DexYCB（单手交互）训练的视频扩散模型直接零样本应用于OAKINK2（双手交互）图像到视频任务，仍能生成与真值手部姿态合理对齐的视频，归因于预训练视频扩散权重与ControlNet机制。\n- 实施细节：8×NVIDIA 800 GPU训练，批大小4×8，学习率1e-4，8000步，AdamW优化器与DeepSpeed架构；全流程40帧推理约301.1秒，Stage-II峰值显存41.4GB，Stage-I仅0.03GB。\n- 局限与约束：第一阶段几何误差（如穿模或缺失接触）会传播导致物理不合理交互；第三阶段质量高度依赖第二阶段首帧质量，低质量首帧会加剧时序闪烁；未来可探索更复杂物体交互或端到端统一模型。"
}