{
  "paper_id": "d9cb3d1cb6c12ad6732eeec6cf35b1f9",
  "paper_title": "G-HOP: Generative Hand-Object Prior for Interaction Reconstruction and Grasp Synthesis",
  "paper_authors": [],
  "publication_date": "",
  "publication_venue": "2024 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)",
  "abstract": "我们提出G-HOP，一种基于去噪扩散的手-物体交互生成先验，能够在以物体类别为条件下同时建模三维物体与人手。为学习可捕捉该联合分布的三维空间扩散模型，我们用骨骼距离场表示人手，以获得与物体（潜在）符号距离场对齐的表示。我们证明该手-物体先验可作为通用引导，促进交互片段重建和人类抓取合成等其他任务。我们相信，通过聚合跨越155个类别的七个多样化真实世界交互数据集训练的模型，是首个允许联合生成手与物体的方法。我们的实证评估表明，这一联合先验在基于视频的重建和人类抓取合成中优于当前任务特定的基线方法。",
  "keywords": [
    "手-物体交互",
    "去噪扩散模型",
    "生成先验",
    "交互网格",
    "抓取合成",
    "三维重建",
    "符号距离场",
    "骨骼距离场",
    "分数蒸馏采样"
  ],
  "paper_institutions": [],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:40:36.315151Z",
  "template_tag": "simple",
  "summary": "### 摘要\n本文旨在解决手-物体交互（HOI）的联合三维生成与先验引导推理问题：给定物体类别（如“一只手拿着盘子”），同时生成合理的物体形状与手的相对位姿及关节构型。以往研究或依赖实例特定模板将重建简化为6D位姿估计，或采用仅能引导物体形状的二维扩散先验（DiffHOI），抓取合成方面则有Grasping Fields、GraspTTA等以物体网格为条件的任务特定模型，均未统一建模手与物体的联合分布。G-HOP提出基于去噪扩散的类别条件生成先验，核心机制是“交互网格”均匀表示：物体SDF网格（64³分辨率、跨30cm）经VQ-VAE压缩为16³潜在码，与由MANO姿态参数化的15通道骨骼距离场 H(θ)[u,v,w] ≡ ||X_[u,v,w] − J_i||₂² 拼接，并在手掌朝上的手中心坐标系中由3D-UNet（CLIP文本嵌入经交叉注意力注入）以DDPM损失学习联合分布 p(O,H|C)。训练数据聚合HOI4D、DexYCB、ContactPose、GRAB、OakInk等7个真实交互数据集，将362个类别词手动归并为155类，呈长尾分布（mug超1万条、skillet lid不足100条），以此检验模型跨类别泛化与少样本生成能力。推理时通过分数蒸馏采样（SDS）近似对数似然梯度 ∇_x log p(x) ≈ E_{ε,i}[ω_i(x − x̂_i)]，将先验作为通用引导用于测试时优化：交互视频重建中结合重投影、Eikonal与时间平滑损失，在HOI4D上以F@5mm/F@10mm、Chamfer距离、手中心Chamfer距离CD_h及MPJPE/AUC评估，取得F5=0.76、CD=0.4、CD_h=18.4、MPJPE=1.05，全面超越iHOI、HHOR、DiffHOI，且每段视频约1小时（快85%）；抓取合成在HO3D与3DW上以交集体积/深度、仿真位移、接触比率/面积评估，G-HOP平均穿透深度最低、接触面积最大、HO3D稳定性最佳，用户研究（440/380份回答）中最受偏好甚至超过真值。局限在于需类别输入、无显式接触保证、数据规模有限；未来可扩大规模迈向通用手-物交互理解，服务于机器人模仿学习与虚拟助手等现实场景。\n\n### 关键要点\n- G-HOP是首个能联合生成手与物体三维形状的生成模型：给定物体类别文本提示，可同时合成合理的物体形状以及手的相对位姿与关节构型。\n- 核心表示为“交互网格”：物体经VQ-VAE压缩的潜在符号距离场（64³降至16³）与15通道手部骨骼距离场拼接，统一在手掌朝上的手中心坐标系中建模，从而捕捉跨物体的共性交互结构（如握把手）。\n- 手部骨骼距离场 H(θ)[u,v,w] ≡ ||X_[u,v,w] − J_i||₂² 借助可微MANO模型与姿态参数双向转换；从场恢复姿态时对θ做梯度下降并施加正则项。\n- 扩散模型实现为含三个3D卷积块的3D-UNet，文本提示由CLIP文本编码器编码并经交叉注意力注入每个块，训练目标为标准DDPM去噪损失。\n- 训练数据聚合7个真实世界交互数据集（HOI4D、DexYCB、ContactPose、GRAB、OakInk等），将362个类别词手动归并为155类；数据呈长尾分布，mug类超1万条抓取而skillet lid不足100条。\n- 推理采用测试时优化框架，通过分数蒸馏采样（SDS）将预训练扩散先验转化为对数似然梯度，与任务特定目标（视频重投影损失）或约束（已知物体网格）结合，统一支撑重建与抓取合成两个任务。\n- HOI4D重建结果：G-HOP取得F5=0.76、F10=0.97、CD=0.4、CD_h=18.4、MPJPE=1.05、AUC=0.79，全面优于iHOI、HHOR与DiffHOI；每段视频优化15000次迭代约1小时，比DiffHOI快85%。\n- 消融实验表明：将先验从2D升级为3D显著改善物体重建，而联合建模（而非以手为条件）进一步改善手部姿态并反哺物体重建；在图像空间联合建模的变体甚至不如DiffHOI。\n- 抓取合成在HO3D与3DW上评估：G-HOP平均穿透深度最低（0.31/0.51）、接触面积最大（0.23/0.25），HO3D仿真位移最佳（0.95），尽管交集体积偏高；其接触区域分布于手指与手掌，更符合人类真实用手方式。\n- 用户研究（HO3D上22名用户440份回答、3DW上19名用户380份回答）显示，G-HOP生成的抓取在成对比较中最受偏好，甚至优于数据集真值标注。\n- 提出基于不同时间步SDS损失平均的抓取评分 s(θ,T) = −Σ ω_i||x − x̂_i||²，可对随机初始化采样出的多样抓取给出与人类常识一致的排序（如电钻常握中部、穿透杯体的抓取排名靠后）。\n- 局限与约束：模型需要类别信息作为输入、缺乏保证手-物接触的显式机制、训练数据规模仍不足以与其他领域的生成模型相比；作者期望未来扩大规模以实现更通用的手-物交互理解，服务机器人模仿学习与虚拟助手等场景。"
}