{
  "paper_id": "e647dec7e9d0cbc59cbf25174a10817e",
  "paper_title": "Hand-Object Interaction in the Age of Large Foundation Models: Reconstruction, Generation, and Embodied Transfer",
  "paper_authors": [
    "Weiquan Lin",
    "Yu Deng",
    "Shiyang Liu",
    "Luping Xiao",
    "Xu Tang",
    "Junzhi Yu",
    "Jiaolong Yang",
    "Lei Zhang",
    "Xingyu Chen"
  ],
  "publication_date": "",
  "publication_venue": "unknown",
  "abstract": "手物交互（HOI）建模需要在严重视觉不确定性下联合推理手部关节运动、物体几何、接触、语义和动态，因此仍具挑战。基础模型借助从大规模跨域数据中学到的可迁移先验知识，提供了超越任务专用数据和模型的新途径。但快速增长的文献较为碎片化，现有研究通常只简单描述为“使用大模型”，未系统刻画引入了何种知识、知识在 HOI 流程何处进入、以及帮助降低哪些 HOI 不确定性。本综述首次系统回顾面向 HOI 的基础模型先验，将文献组织为跨越重建与生成的六项 HOI 任务；更重要的是建立由几何、语义和视觉三大类构成的八个基础模型子先验分类体系。几何先验包括形状检索、形状重建和空间重建，语义先验包括语义落地和语言推理，视觉先验包括视觉表征、图像生成和视频生成。基于该分类，作者系统分析不同先验在 HOI 流程和任务中的表征、注入与适配方式；除基础模型如何增强 HOI 外，还考察 HOI 派生知识如何通过人类数据预训练、人到机器人技能迁移和 HOI 到机器人数据生成支持机器人学习。最后总结数据集与评估协议，并讨论面向更可泛化 HOI 系统的局限与未来方向，同时维护持续汇总新方法和基准的动态仓库。\n",
  "keywords": [
    "手物交互",
    "手物交互重建",
    "手物交互生成",
    "基础模型先验",
    "具身智能"
  ],
  "paper_institutions": [
    "Xidian University",
    "Zhongguancun Academy",
    "Microsoft Research Asia",
    "Peking University",
    "Visincept"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:27:40.677831Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n该综述针对手物交互中形状、空间、物理、语义、动态五类耦合不确定性，以及现有文献只笼统表述“使用大模型”、难以说明知识来源、注入位置和所消歧义的问题，在手部姿态估计、手持物体重建、抓取与运动生成等相关研究基础上，首次从基础模型先验注入视角系统梳理 HOI。其核心机制可概括为 y=Head(Backbone(x;P_geo,P_sem,P_vis))：x 表示图像、视频、提示词或初始状态，Backbone 承担几何推理、时序建模、优化或去噪，Head 输出姿态、形状、接触、运动或图像视频，而几何、语义、视觉先验通过初始化、对齐、融合、条件化、适配、蒸馏或分数引导进入骨干与任务头。综述将任务分为 R1–R3 与 G1–G3，把先验分为形状检索、形状重建、空间重建、语义落地、语言推理、视觉表征、图像生成和视频生成八类，并进一步连接人类数据预训练、人到机器人技能迁移和 HOI 到机器人数据引擎。数据与协议层面，ObMan、HO3D、GRAB、HOI4D、OakInk2、Ego4D、Ego-Exo4D 等基准与大规模语料被选来覆盖受控、野外、合成、网络场景，自我、外部、多视角视角以及重建、生成和具身迁移，用于检验分类法的覆盖度并暴露评估盲区；由于本文是综述而非单一模型论文，这些数据不产生新的统一跑分，而用于比较方法来源、注入表征、适用任务和局限。指标方面，MPJPE/MPVPE、ADD、Chamfer distance/F-score、FID/FVD、PSNR/SSIM/LPIPS、接触 F1/IoU、穿透深度、力闭合、重定向误差和任务成功率分别衡量几何、视觉、运动、接触、物理和下游执行，但综述表明几何先验主要缓解形状与空间不确定性，语义先验主要缓解语义和部分物理不确定性，视觉先验有助于外观对齐和动态规律，任何单一家族都不能保证交互准确。未来方向包括可验证的一体化 HOI 基础系统、从几何正确走向交互正确、长时序动态相机世界空间建模、先验可靠性路由与冲突消解、动态具身记忆和面向机器人的人类 HOI 理解；其现实场景涵盖计算机视觉、AR/VR、数字人、具身 AI 与机器人操作，主要约束是严重遮挡、开放世界物体、接触与力不可观测、运动模糊、相机漂移、物理可行性以及人类到机器人的形态差距。\n\n### 关键要点\n\n- 综述将接触与可供性视为输出属性而非独立任务，并把 HOI 划分为手部物体姿态估计、手持物体重建、动态 HOI 重建、抓取合成、运动生成和图像/视频生成六项任务。\n- 只有显式可识别的大规模通用预训练模型通过预测、表征、参数迁移、适配或蒸馏提供跨域知识时，才被归为基础模型先验；HOI 专用资产或接触图本身不自动满足该边界。\n- 几何先验包含形状检索、形状重建和空间重建，分别用于从资产库选择候选形状、从图像或文本补全物体几何，以及提供深度、相机、点图或跨视角对应。\n- GHOST 用 InternVL 识别物体、OpenShape 从 Objaverse 检索资产，并将检索几何用于对齐和高斯重建正则化，但该路线依赖库中存在合适资产，难处理实例特定、铰接、可变形或未见物体。\n- EasyHOI、Follow My Hold、AGILE 和 GraG 等方法使用 InstantMesh、Hunyuan3D、SAM 3D 或 MV-SAM3D 生成形状来初始化或正则化重建，但生成表面可能幻觉接触区域，需要姿态、时序和物理验证。\n- DUSt3R、Metric3D、MoGe-2、Video Depth Anything 和 UniDepth V2 等空间先验可减少单目尺度深度歧义和动态相机漂移，却不能单独识别功能部件、判定真实接触或保证动作可执行。\n- 语义落地先验通过 Grounding DINO、SAM、SAM 2、LISA 或非模态视频分割产生框、掩码、区域表征和时序轨迹，HandOS 即利用 Grounding DINO 特征做单阶段手部重建；指尖、透明、反光和重度遮挡区域的掩码错误会向下游传播。\n- 语言推理先验由 GPT、LLaMA、Qwen、RoBERTa、CLIP 或多模态模型提供意图、可供性、功能部件和接触约束，NL2Contact 与 HOIGPT 分别将其用于接触图生成和长序列 HOI 生成，但语义合理不等于无碰撞、力闭合或动态有效。\n- 视觉先验中 DINOv2 特征经 token 融合提升开放类别鲁棒性，Stable Diffusion、Zero-1-to-3、CogVideoX 和 Wan 的去噪分数、参数或潜变量可用于重建正则化、图像视频生成和交互 rollout，但外观或时序逼真仍可能掩盖接触漂移和错误物理。\n- 具身迁移包含视频或结构化人类数据预训练、演示对齐与重定向、交互引导操作以及 HOI 到机器人数据引擎，HUG、DexMV、RoboWheel、EgoEngine 和 HandEdit 等分别处理抓取重定向、策略监督或机器人化数据生成。\n- 数据与评估覆盖 DexYCB、HOI4D、ARCTIC、OakInk2、HOT3D 等任务基准和 Ego4D、Ego-Exo4D 等预训练来源；现有指标存在盲区，PA-MPJPE 会隐藏绝对位姿和尺度误差，FID/FVD 不验证接触或物理，重定向误差也不能替代任务成功率。"
}