{
  "paper_id": "e647dec7e9d0cbc59cbf25174a10817e",
  "paper_title": "Hand-Object Interaction in the Age of Large Foundation Models: Reconstruction, Generation, and Embodied Transfer",
  "paper_authors": [
    "Weiquan Lin",
    "Yu Deng",
    "Shiyang Liu",
    "Luping Xiao",
    "Xu Tang",
    "Junzhi Yu",
    "Jiaolong Yang",
    "Lei Zhang",
    "Xingyu Chen"
  ],
  "publication_date": "",
  "publication_venue": "unknown",
  "abstract": "手物交互（HOI）建模需要在严重视觉不确定性下联合推理手部关节运动、物体几何、接触、语义和动态，因此仍具挑战。基础模型借助从大规模跨域数据中学到的可迁移先验知识，提供了超越任务专用数据和模型的新途径。但快速增长的文献较为碎片化，现有研究通常只简单描述为“使用大模型”，未系统刻画引入了何种知识、知识在 HOI 流程何处进入、以及帮助降低哪些 HOI 不确定性。本综述首次系统回顾面向 HOI 的基础模型先验，将文献组织为跨越重建与生成的六项 HOI 任务；更重要的是建立由几何、语义和视觉三大类构成的八个基础模型子先验分类体系。几何先验包括形状检索、形状重建和空间重建，语义先验包括语义落地和语言推理，视觉先验包括视觉表征、图像生成和视频生成。基于该分类，作者系统分析不同先验在 HOI 流程和任务中的表征、注入与适配方式；除基础模型如何增强 HOI 外，还考察 HOI 派生知识如何通过人类数据预训练、人到机器人技能迁移和 HOI 到机器人数据生成支持机器人学习。最后总结数据集与评估协议，并讨论面向更可泛化 HOI 系统的局限与未来方向，同时维护持续汇总新方法和基准的动态仓库。\n",
  "keywords": [
    "手物交互",
    "手物交互重建",
    "手物交互生成",
    "基础模型先验",
    "具身智能"
  ],
  "paper_institutions": [
    "Xidian University",
    "Zhongguancun Academy",
    "Microsoft Research Asia",
    "Peking University",
    "Visincept"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:27:40.677831Z",
  "template_tag": "deep_read",
  "summary": "# Hand-Object Interaction in the Age of Large Foundation Models: Reconstruction, Generation, and Embodied Transfer\n\n\n**作者 / Authors:** Weiquan Lin, Yu Deng, Shiyang Liu, Luping Xiao, Xu Tang, Junzhi Yu, Jiaolong Yang, Lei Zhang, Xingyu Chen\n\n\n**单位 / Institutions:** Xidian University, Zhongguancun Academy, Microsoft Research Asia, Peking University, Visincept\n\n\n\n**输出语言 / Output Language:** zh\n\n\n\n**发表日期 / Publication Date:** 未报告\n\n\n\n**期刊/会议 / Publication Venue:** 未报告（原文未注明正式发表 venue；提供项目页与 GitHub 链接）\n\n\n## 第一轮：问题与贡献\n\n\n### 材料与类型\n\n材料检查：提供的 Markdown 含摘要、9 个章节、图表说明、Table 1–5 与参考文献；未见独立附录、补充材料或代码实现细节。项目页与 GitHub 链接已给出，但本次未访问验证。出版日期与正式 venue 缺失，影响版本、时效与同行评审状态的判断。\n\n原型判断：本文是 survey。它不提出新算法或新训练流程，而是建立 HOI 任务与基础模型先验的分类法，系统归纳文献、注入机制、数据集与评测盲点，并讨论具身迁移与开放挑战；这符合综述的原型特征。\n\n影响解读的材料缺口：缺少正式出版信息与附录；Table 3 等方法归类依赖作者制定的“基础模型先验”边界，外部复核需回到原文与项目仓库；文中大量 2026 年参考文献提示其覆盖前沿预印本，具体方法的性能结论不能仅凭本综述代替原文实验核验。\n\n\n\n\n\n### 问题\n\n问题：HOI 建模需要联合推理手部关节、物体几何、接触、语义与动力学，但在严重遮挡、单目投影和开放世界中，这些变量仅部分可观测，形成形状、空间、物理、语义、动态五类耦合不确定性。其重要性在于支撑计算机视觉、AR/VR、数字人和具身智能中的操作理解与生成。\n\n现有不足：已有综述多聚焦手部姿态估计、手物姿态估计、交互手重建或灵巧抓取，未把 HOI 重建、生成、接触与可供性推理、基础模型先验和具身迁移放在同一分析框架中系统比较；同时，许多方法论文只笼统声称“使用大模型”，未说明引入了何种知识、从何处进入 HOI 流水线、缓解哪类不确定性（作者主张）。\n\n可形式化地看，目标是在观测 O 下估计或生成手物状态 S，使其在几何、接触、语义、时序和物理上尽量一致；本综述的核心不是求解该目标，而是建立“先验分类—注入机制—不确定性缓解”的分析框架（分析推断）。\n\n\n\n\n\n### 概览与阅读路线\n\n一句话概览：本综述以基础模型先验为透镜，系统梳理 HOI 重建、生成及其向具身迁移的文献与方法。\n\n核心思想与贡献：作者将 HOI 分为 6 个任务（R1–R3 重建、G1–G3 生成），将基础模型先验分为 8 个子先验、3 个家族（几何：形状检索、形状重建、空间重建；语义：语义 grounding、语言推理；视觉：视觉表示、图像生成、视频生成），并分析这些先验如何通过初始化、对齐、融合、条件化、适配或分数引导进入 HOI 流水线。相对既有综述，Table 1 明确宣称同时覆盖 hand-only、hand-object pose、HOI、contact/affordance、foundation model 与 embodied transfer；Sec. 6 进一步讨论人类数据预训练、人到机器人技能迁移和 HOI 到机器人数据引擎。\n\n最重要结论及其条件：作者在 Sec. 8.1 主张没有任何单一先验家族能解决 HOI，集成系统应围绕共享的手物状态、接触与轨迹组合先验，并验证接触、物理合理性和机器人执行。该结论属于综述性归纳，证据来自 Fig. 3、Table 3 与 Secs. 3–8 的文献分析，而非对照实验；支持范围限于所收录文献和作者制定的先验边界，不能据此直接判定具体方法的性能优劣。\n\n优先阅读：Fig. 1–3（总览、路线图、残余不确定性与先验干预）、Table 1（与既有综述的差异）、Table 3（代表性方法与注入机制）、Sec. 2.1/2.5/2.6（任务与先验定义）、Secs. 3–5（三类先验及注入方式）、Sec. 6（具身迁移）、Sec. 7.2（指标盲点）、Sec. 8（开放挑战）。下一轮可追问：先验分类的操作边界是否可复现；Table 3 的“主要/辅助先验”标签依据；各方法是否报告了接触、物理和下游任务证据；综述覆盖是否存在任务或地域偏差。\n\n过渡：下面进入第二轮，重点核对分类法、注入机制与证据链是否支撑其核心主张。\n\n\n\n\n## 第二轮：方法与证据\n\n\n### 方法与公式\n\n定位：本文是 survey，不提出新算法、新网络或新训练流程。其“输入”是截至材料定稿的 HOI 文献、数据集、基础模型与机器人学习文献；“输出”是一套任务—先验—注入机制—不确定性—具身迁移的分类法和证据地图。\n\n输入 → 关键步骤 → 输出：\n\n1. 任务归类。Sec. 2.1 定义六个任务：R1 手物姿态估计、R2 手持物体重建、R3 动态 HOI 重建、G1 抓取合成、G2 HOI 运动生成、G3 HOI 图像/视频生成；另设 ET 具身迁移。接触与可供性被当作输出属性，不单列为任务。\n2. 先验归类。Sec. 2.6 把基础模型先验分为三族八子类：几何族 G-Ret 形状检索、G-Rec 形状重建、G-Spa 空间重建；语义族 S-Gnd 语义 grounding、S-Lng 语言推理；视觉族 V-Rep 视觉表示、V-Img 图像生成、V-Vid 视频生成。\n3. 边界判定。Sec. 1 给出操作定义：只有当明确识别的大规模通用预训练模型通过预测、表示、迁移参数、适配或蒸馏提供跨域知识时，方法才算 foundation-model-prior；任务特定预训练、3D 资产、接触图、隐式场等本身不算，除非由基础模型检索、生成、对齐、过滤或打分。\n4. 注入机制编码。作者把先验进入 HOI 流水线的方式归纳为初始化、对齐、融合、条件化、适配/微调、分数引导/正则化；Table 3 进一步记录为 token fusion、initialize、regularize、scale alignment/registration、region conditioning、condition/fuse、score-guided regularization、ControlNet/adapter conditioning 等。\n5. 不确定性闭环。Sec. 2.5 与 Fig. 3 把残余不确定性分为形状 Sh、空间 Sp、物理 Ph、语义 Se、动态 Dy，并把每类先验映射到其可能缓解的不确定性；Secs. 3–5 逐族分析能力与失效模式；Sec. 6 把 HOI 证据接到机器人学习；Sec. 7 汇总数据与指标；Sec. 8 给出开放问题。\n\n分析性记号（不是原文公式，也不是可计算模型）：可把 Table 3 的编码写成 M(m) = (T_m, P_m^prim, P_m^aux, R_m, I_m, U_m)，其中 T 为 R1–R3/G1–G3/ET，P 为先验子类，R 为注入表示，I 为注入算子，U⊆{Sh,Sp,Ph,Se,Dy}。它表达“某方法在哪个任务、用哪族先验、以什么表示和算子、缓解哪类不确定性”，不给出损失函数或训练目标。原文没有核心编号方程，因此不存在可推导的中心公式；这是综述体裁决定的。\n\n小例子：Table 3 中 EasyHOI 属于 R2，主先验为 G-Rec/InstantMesh，辅先验包括 S-Gnd 的 LISA/SAM 与 V-Img 的 Affordance Diffusion；其流程是先分割手与物体，再补全被遮挡外观，生成完整物体网格，最后初始化手物对齐与物理优化。该例说明一个方法可以组合多族先验，Table 3 的 primary 表示流水线中的主证据来源，不表示唯一先验。另一个例子是 GHOST：用 InternVL 识别物体、OpenShape 从 Objaverse 检索资产，再用 SAM 2 掩码和 Gaussian 重建做对齐与正则化，体现 G-Ret 的 retrieve/align/regularize 复合机制。\n\n必要模块：Sec. 2.1 任务定义、Sec. 2.2 表示、Secs. 2.3–2.4 非基础模型基线、Sec. 2.5 公共流水线抽象、Sec. 2.6 先验族、Secs. 3–5 三族分析、Sec. 6 具身迁移、Sec. 7 数据与指标、Sec. 8 挑战。理解本文应把重点放在分类轴和注入机制，而不是寻找网络结构或损失函数。\n\n\n\n\n\n### 评测设置\n\n审查对象与选择程序：材料包含摘要、9 个章节、7 幅图、5 张表与编号至 [^296] 的参考文献，未见独立附录或补充材料。作者在 Abstract 与 Sec. 1 声称这是首个从基础模型先验注入角度系统评述 HOI 及其具身迁移的综述，并提供项目页与 GitHub 仓库作为动态列表。但原文没有报告数据库与检索式、检索日期、初筛/全文筛选数量、纳入排除标准的操作化细则、编码手册、复核者一致性或 PRISMA 类流程图；除 Sec. 1 的 foundation-model-prior 边界外，文献选择过程不可复现。因此“systematic”目前是作者主张，尚缺方法学证据。\n\n分类与覆盖：Table 1 只用四篇既有综述做七维覆盖对比，且为二元 ✓/✗ 自评；它能支持“与这四篇相比覆盖更广”的弱主张，不能证明文献覆盖穷尽。Table 3 列出 24 条代表性方法，按几何、语义、视觉三族组织，记录任务、先验来源、注入表示、注入算子和不确定性；这是策展式样本，不是系统检索后的完整清单，也没有各任务的方法数量、年份分布或纳入/排除计数。Table 4 的 Panel A 汇总 HOI benchmark 数据集的观测、视角、采集环境、手/物/HOI 真值与任务，Panel B 汇总大规模预训练与具身数据引擎的监督信号和用途；覆盖面较广，但没有数据集规模、受试者数、物体类别数、标注质量、划分协议和许可信息，难以判断跨论文比较是否同分布。Table 5 汇总指标族与适用任务，Sec. 7.2 进一步指出几何、视觉/运动、接触/物理与具身迁移指标的盲点。\n\n基准与协议评估：本文没有统一跑 benchmark，也没有给出各方法的训练/推理环境、算力预算、随机种子、超参数或失败率；因此不存在可复核的受控比较。其“协议覆盖”贡献是发现盲点：MPJPE/PA-MPJPE/MPVPE 等衡量关节或网格误差，不保证接触、功能或物理合理；Chamfer/F-score/IoU 衡量表面，不保证抓取稳定；FID/FVD 衡量分布，不保证手部解剖、接触持续或任务完成；接触 precision/recall/F1 与穿透、仿真位移、force closure 也依赖网格、摩擦和仿真器设置；ET 还需区分 retargeting error 与 task success。上述判断有指标定义与文献引用支撑，但没有对现有论文逐篇核对指标、划分和比较条件，属于协议层面的概念审计。\n\n公平性与缺口：不同方法使用不同数据集、不同基础模型版本、不同标注（MANO、6D pose、contact、文本）和不同评测分辨率，综述未做条件对齐；Table 3 的 status 混合会议/年份与 arXiv，2026 年条目较多，正式发表状态和结果需回原文核验。可能的覆盖偏差包括：以视觉与机器人学习为主，触觉、可变形物体、铰接物体只部分覆盖；以英文文献和作者可见的预印本为主；将 hand-only 作为 HOI 前端纳入，可能稀释“手物联合”边界。材料未提供附录、补充实验或代码实现细节，项目页与 GitHub 本次未访问验证。\n\n\n\n\n\n### 结果与证据\n\n本文没有实验、消融或定量 benchmark 结果，所谓“结果”是分类覆盖与文献分析的一致性。核心证据链如下：\n\n1. Table 1 用七个覆盖维度对比四篇既有综述，声称只有本文同时覆盖 hand-only、hand-object pose、HOI、contact/affordance、foundation model、embodied transfer。这支持“研究缺口存在”的弱主张，但比较对象只有四篇、维度由作者设定、✓/✗ 无评分细则，不能证明覆盖穷尽或本文质量更高。\n2. Fig. 1 与 Fig. 2 给出六任务、三八族先验和章节路线图；它们支持分类法的可读性与组织一致性，但不是因果证据。图中的任务—先验连线是作者的综合判断，不是实验测量。\n3. Table 3 的 24 条代表性方法说明八类先验确实被用于 R1–R3/G1–G3，且同一方法常组合多族先验；这支持“基础模型先验已渗透 HOI 流水线”的存在性主张。但样本是策展式的，primary/auxiliary 与 Sh/Sp/Ph/Se/Dy 标签由作者人工分配，缺少编码可靠性和方法性能数字；它不能证明某类先验平均更有效，也不能证明注入机制与性能存在因果关系。\n4. Fig. 3 把残余不确定性与先验干预对应起来，Secs. 3–5 逐族分析失效模式：检索依赖资产库且难处理实例特定/铰接/可变形物体；形状重建可能幻觉出与接触不一致的几何；空间重建提供尺度与相机但不懂语义和接触；语义 grounding 有错误传播，语言推理不能自行保证无碰撞或力闭合；视觉表示无度量尺度与接触信息，图像/视频生成不保证物理正确。这些分析共同支持 Sec. 8.1 的结论：没有单一先验族足以解决 HOI，集成系统应围绕共享手物状态、接触与轨迹组合先验并做验证。该结论是合理的综述性归纳，但证据是文献论证而非对照实验。\n5. Table 4 与 Table 5 支持“数据与评测碎片化”的诊断：benchmark 的观测、视角、真值和任务不统一，指标族各有盲点，ET 需任务成功而非仅 retargeting 误差。这为 Sec. 7.2 与 Sec. 8.2 的评测批评提供概念支撑，但没有逐篇统计各方法使用了哪些 split、指标和比较条件。\n\n证据强度与条件：支持范围限于作者纳入的文献、作者定义的 foundation-model-prior 边界和截至材料定稿的预印本生态；许多 2026 年条目尚未形成正式发表记录，具体方法的性能结论不能由本综述代替原文实验核验。缺失项包括：系统检索与筛选计数、编码一致性、跨论文定量汇总、统一 benchmark、消融、失败率、算力与训练环境。因而本文能支持“taxonomy 与 research agenda”，不能支持“某方法 SOTA”或“某先验族普遍优于另一族”的强主张。\n\n\n\n\n\n### 相关工作\n\n最近邻工作是 Table 1 列出的四篇综述。Ohkawa et al. 2023 聚焦 3D 手部姿态估计的标注与学习；Woo et al. 2023 聚焦 HOI 图像中的手部姿态估计方法与数据集；Miao & Liu 2024 聚焦交互双手重建；Song et al. 2025 聚焦灵巧抓取。按作者在 Table 1 的自评，这些工作分别缺少对 HOI 重建与生成、接触/可供性、基础模型先验、具身迁移的联合覆盖；本文的差异是同时建立六个 HOI 任务与八类基础模型先验的二维分类，并把注入机制和具身迁移纳入同一框架。该比较是作者依据七个覆盖维度做的 ✓/✗ 表，未给出检索式、筛选流程或外部复核，因此只能视为作者声称的差异，不能视为已独立验证的文献学结论。\n\n成本与代价：覆盖越宽，单一方法的实验细节、训练配置和失败条件越难展开；八类先验的边界由作者定义，可能把任务特定预训练或 HOI 域知识排除在外；Table 3 的 primary/auxiliary 与不确定性标签是人工编码，缺少编码手册和一致性统计；综述没有做跨论文的定量汇总，不能替代原文实验。与只覆盖手部或抓取的综述相比，本文更适合做研究地图和选题定位，但不适合直接判定某个方法在某个 benchmark 上的优劣。\n\n\n\n\n\n### 关键图表解读\n\n1. Fig. 1（Overview，位于作者信息后、Contents 前）：把六个 HOI 任务放在中心，向外连到八类基础模型先验，再连到具身迁移。它支撑全文的核心主张——HOI 可按“重建/生成任务 × 几何/语义/视觉先验”组织，并进一步连接机器人学习。解释限制：这是概念示意图，箭头表示组织关系而非因果或性能提升；任务与先验的归属由作者定义，接触/可供性被处理为属性而非独立任务，读者需回到 Sec. 2.1 与 Sec. 2.6 核对边界。\n\n2. Fig. 3（Residual HOI uncertainties and corresponding foundation-prior interventions，Sec. 2.5）：把形状、空间、物理、语义、动态五类残余不确定性映射到几何、语义、视觉先验的干预。它支撑“不同先验针对不同不确定性、因而需要互补组合”的论证，是 Sec. 8.1 结论的概念基础。解释限制：映射是作者综合，不是消融实验；同一先验可能同时影响多类不确定性，Fig. 3 未给出效应大小、冲突处理或失败率；Table 3 的多标签也说明这种对应并非一一映射。\n\n3. Table 1（Sec. 2.1）：对比四篇既有 HOI 相关综述在 hand-only、hand-object pose、HOI、contact/affordance、foundation model、embodied priors、transfer 七个维度的覆盖。它支撑“现有综述未联合覆盖这些维度、本文填补空白”的新颖性主张。比较条件与限制：只选四篇、二元 ✓/✗、维度由作者设定、没有检索协议与外部复核；“Ours”一行是自评，不能据此证明文献覆盖完整或综述质量更高。\n\n4. Table 3（Sec. 3.1）：按几何、语义、视觉三族列出 24 条代表性方法，记录任务、基础模型来源、注入表示、注入算子和缓解的不确定性。它支撑两个关键主张：八类先验在六任务中确有应用；方法通常组合多族先验而非只用单一先验。解释限制：这是代表性样本而非系统清单；P/A 主辅标签与 Sh/Sp/Ph/Se/Dy 标签是人工编码，缺少编码手册与一致性统计；status 混合会议年份与 arXiv，且没有性能数字，不能用于排名或判断注入机制优劣。\n\n5. Table 4（Sec. 7.1，Panel A/B）：Panel A 汇总 HOI benchmark 的观测、视角、采集环境、手/物/HOI 真值与任务，Panel B 汇总大规模预训练与具身数据引擎的监督信号和用途。它支撑“数据与协议碎片化、需要统一评测”的诊断，并显示重建、生成与 ET 的数据来源不同。解释限制：表格是清单而非元分析，缺少数据集规模、划分、标注质量与许可；Use 标签只描述数据用途，不评价方法；部分 2026 年数据集的正式状态需回原文核验。\n\n过渡：这些图表共同支撑的是分类学与证据地图，而非性能结论；因此评价应转向选择偏差、标签可靠性和验证缺口。\n\n\n\n\n\n### 术语表\n\nHOI：手与物体在空间、接触、语义和时序上的联合交互状态；本文覆盖其重建与生成，并延伸到机器人学习。\n\n基础模型先验（foundation-model prior）：由明确识别的大规模通用预训练模型提供的跨域知识，通过预测、表示、迁移参数、适配或蒸馏进入 HOI 流水线。判定门槛是“跨域”与“基础模型参与”；任务特定预训练、HOI 域资产或接触图本身不算，除非被基础模型检索、生成、对齐、过滤或打分。\n\nR1–R3/G1–G3：R1 手物姿态估计，R2 手持物体重建，R3 动态 HOI 重建；G1 抓取合成，G2 HOI 运动生成，G3 HOI 图像/视频生成。ET 指下游具身迁移。\n\nG-Ret：几何形状检索先验，从 3D 资产库检索候选物体形状作为几何锚点；前提是库中存在合适资产且能可靠识别与对齐，否则退化为错误假设。G-Rec：几何形状重建先验，用单图/多视图生成模型补全或合成物体几何；可缓解遮挡，但可能幻觉出与接触不一致的表面。G-Spa：几何空间重建先验，提供度量深度、点图、相机参数、跨视图对应或空间 token；主要稳定世界坐标与尺度，不提供语义或接触。\n\nS-Gnd：语义 grounding 先验，把文本或多模态提示转成框、掩码、区域表示或视频跟踪；作用是开放词汇定位，风险是掩码错误向下游传播。S-Lng：语言推理先验，用 LLM/MLLM 或语言对齐嵌入推断功能部件、可供性、意图、任务阶段或接触约束；能区分功能不同的交互，但不能自行保证几何与物理可行。\n\nV-Rep：视觉表示先验，把通用图像特征/token（如 DINOv2）融合进 HOI 模型；利于开放类别与遮挡鲁棒，但不携带度量尺度、关节或接触信息。V-Img：图像生成先验，用预训练扩散模型提供外观/布局先验，或以去噪分数正则化弱观测几何；图像逼真不等于解剖、接触或抓取功能正确。V-Vid：视频生成先验，额外建模时间外观、身份持续与交互演化；可做增强、重演、规划或交互 rollout，但时间连贯不等于物理因果正确。\n\n注入算子：初始化、对齐/配准、融合、条件化、适配/微调、分数引导/正则化。Table 3 中的 retrieve/align/regularize、token fusion、region conditioning、ControlNet conditioning 等是这些算子的具体实现。\n\n五类不确定性：Sh 形状、Sp 空间、Ph 物理、Se 语义、Dy 动态。它们是 Sec. 1 用来组织文献的耦合不确定性，不是互斥的损失项；Table 3 用多标签表示某先验可能缓解多类不确定性。\n\nMANO/NIMBLE：低维参数化手模型，编码手部关节与形状；MANO 常用于手网格回归与优化，NIMBLE 含骨骼与肌肉。它们是表示与约束，不是基础模型先验本身。\n\nSDF/occupancy/DDF：连续隐式几何表示；SDF 存 signed distance，occupancy 存占用概率，DDF 存方向距离。用于手持物体或手物联合重建，可表达连续表面，但依赖优化与观测覆盖。\n\ncontact map/affordance map/contact field/interaction field：contact map 在像素、点云或网格顶点上给接触标签/概率；affordance map 标出适合某动作的物体区域；contact field 在 3D 查询位置连续建模接触或邻近；interaction field 编码更宽的手物空间关系。它们描述交互关系，不等同于力或任务成功。\n\nAmodal segmentation：预测被遮挡物体的完整区域，而非仅可见部分；在 HOI 中用于恢复手遮挡下的物体掩码，错误会传播到重建与接触优化。\n\nWorld-space/egocentric：world-space 指统一世界坐标系下的手、物、相机与场景状态；egocentric 指第一人称视角。二者结合时，相机自运动与手物运动纠缠，容易产生尺度与长期漂移。\n\nRetargeting：把人类手部/抓取/轨迹映射到机器人形态与动作空间；retargeting error 衡量映射保真度，但不能替代机器人任务成功率。\n\nVLA：vision-language-action 模型，把视觉、语言与动作联合建模；本文在 ET 中讨论从人类视频预训练或迁移到机器人策略。\n\nData engine：把人类 HOI 视频/重建结果批量转成机器人可用数据（状态-动作、配对演示、机器人化视频等）的系统；需同时处理视觉、运动学与物理具身差距。\n\nMPJPE/PA-MPJPE/MPVPE/PA-MPVPE：关节或顶点误差；PA 变体先做相似变换对齐，强调关节姿态/形状一致性，但会掩盖绝对位置、朝向与尺度误差。ADD/ADD-S：物体 6D 位姿误差；Chamfer/F-score/IoU：表面或占用几何指标。\n\nFID/FVD：比较生成图像/视频分布；PSNR/SSIM/LPIPS：需要配对参考的视觉相似度；diversity/coverage/condition-adherence：生成多样性与条件满足度。它们都不直接验证接触持续、物理合理或任务完成。\n\nForce closure：抓取在接触力作用下能抵抗外力的条件；常作为物理合理性指标，但依赖摩擦、接触建模与仿真器，不能单独证明功能正确。\n\nDynamic embodied memory：Sec. 8.5 提出的方向，在抓取前保存物体身份、几何、位姿、功能区域与预期接触，并在抓取后用手套遮挡、本体感觉、接触事件和物体响应持续更新。\n\n\n\n\n\n### 全部图表索引\n\n图索引：\nFig. 1：Overview of this survey；位于作者信息后、Contents 前；主题为六任务、八先验、具身迁移的总览；支撑全文分类框架，重要解释见 module_d。\nFig. 2：Taxonomy roadmap of this survey；位于 Sec. 2.1 末、Table 1 前；主题为三族先验到章节与任务的路线图；支撑章节组织，属导航性图。\nFig. 3：Residual HOI uncertainties and corresponding foundation-prior interventions；位于 Sec. 2.5；主题为五类残余不确定性与先验干预的对应；支撑“互补先验”论证，重要解释见 module_d。\nFig. 4：Injection mechanisms of geometric priors for HOI；位于 Sec. 3.1；主题为几何先验的检索、初始化、正则化、尺度对齐/配准与 token 融合；支撑 G 族机制归纳。\nFig. 5：Injection mechanisms of semantic priors for HOI；位于 Sec. 4.1；主题为语义 grounding 的区域条件化与语言推理的约束/打分；支撑 S 族机制归纳。\nFig. 6：Injection mechanisms of visual priors for HOI；位于 Sec. 5.1；主题为视觉 token 融合、生成模型参数/ latent 条件化与分数正则化、交互 rollout；支撑 V 族机制归纳。\nFig. 7：Five routes by which HOI evidence becomes robot-learning supervision, target-skill guidance, or reusable robot training data；位于 Sec. 6.1；主题为视频预训练、结构化监督、示范重定向、交互引导与数据引擎五条路线；支撑 ET 组织。\n\n表索引：\nTable 1：Comparison of existing HOI-related surveys；位于 Sec. 2.1；七维 ✓/✗ 覆盖对比；支撑新颖性主张，重要解释见 module_d。\nTable 2：Functional abstraction of typical HOI backbones and task heads across the six tasks；位于 Sec. 2.5；列出 R1–R3/G1–G3 的典型 backbone、task head 与 canonical output；支撑公共流水线抽象，属概念归纳。\nTable 3：Representative foundation-model-prior methods for HOI；位于 Sec. 3.1；24 条方法的任务、先验来源、注入表示、注入算子与不确定性标签；支撑分类法可应用性，重要解释见 module_d。\nTable 4：Benchmark datasets and pretraining sources used in HOI research；位于 Sec. 7.1；Panel A 为 HOI benchmark，Panel B 为大规模预训练与具身数据引擎；支撑数据覆盖与碎片化诊断，重要解释见 module_d。\nTable 5：Common metric families in HOI evaluation；位于 Sec. 7.2 末；列出手部、物体、接触、物理、视觉保真、多样性、运动与 ET 指标及适用任务；支撑评测盲点分析。\n\n材料完整性说明：未发现独立附录、补充材料或逐方法实验附表；项目页与 GitHub 链接已给出但本次未访问。图像在材料中以链接占位呈现，正文仅能核对图注与相邻论述，像素级内容未验证；因此涉及图中细节的判断均以图注和正文为据，不声称已做视觉核验。\n\n\n\n\n## 第三轮：评估与复现\n\n\n### 可信度、局限与复现\n\n可信结论：\n\n1) 分类框架本身可理解且内部一致：Sec. 2.1 的六任务（R1–R3、G1–G3）与 Sec. 2.6 的三族八先验在 Fig. 1、Fig. 2、Table 3 中反复使用，Table 3 的 24 条策展案例至少支持“基础模型先验已进入多类 HOI 流水线”的存在性主张。\n2) Secs. 3–5 对各先验族的能力与失效模式的分析有明确文献锚点：检索依赖资产库、重建可能幻觉接触不一致几何、空间先验不懂语义/接触、grounding 会传播掩码错误、语言推理不保证力闭合、视觉/视频生成不保证物理正确；这些是合理的概念审计。\n3) Sec. 8.1 的结论——没有单一先验族能解决 HOI，集成系统需围绕共享手物状态、接触与轨迹组合先验并验证——可视为综述性归纳，而非实验证明。\n\n支持不足或待核验：\n\n1) “first systematic”缺少检索数据库、检索式、检索日期、初筛/全文筛选数量、纳入排除操作细则、编码手册、复核一致性和 PRISMA 流程图；Table 1 只比较四篇综述且为作者二元自评，不能证明覆盖穷尽。\n2) Table 3 是代表性样本而非系统清单；primary/auxiliary 标签与 Sh/Sp/Ph/Se/Dy 多标签为人工编码，未报告编码信度、方法性能数字或纳入计数，因此不能支持“某先验平均更有效”或“某注入机制导致性能提升”的因果主张。\n3) Table 4/5 是清单式汇总，未给数据集规模、划分、标注质量、许可和逐篇评测条件；不能据此做跨论文同分布比较。\n4) 2026 年条目和 arXiv 状态较多，正式发表状态、结果与代码可用性均待回原文核验。\n\n关键假设与失效场景：\n\n- 假设 Sec. 1 的 foundation-model-prior 边界可操作：必须是明确识别的大规模通用预训练模型提供跨域知识；任务特定预训练、3D 资产、接触图、隐式场本身不算。边界模糊会改变 Table 3 的纳入与主/辅标签。\n- 假设六任务与八先验足以覆盖 HOI；若触觉、可变形/铰接物体、长时程任务或机器人本体感知被边缘化，分类会漏项。\n- 假设人工映射“先验→不确定性”可靠；同一先验可能缓解多类不确定性，Fig. 3 未给效应大小或冲突处理。\n- 失效后果：检索到错误资产会锁定错误几何；生成重建的接触区域可能与手姿态冲突；grounding 的指尖/透明物体掩码错误会传播到重建与接触优化；语言推理可语义合理但碰撞/力闭合不可行；视频生成时间连贯但物理因果错误。上述后果在原文有概念论证，但无统一实验量化。\n\n综述复现计划（重建综合/检索/选择过程）：\n所需材料：项目页与 GitHub 仓库快照、检索数据库与日期、检索式、纳入排除标准、筛选记录、编码表、Table 3/4/5 的原始条目与引用。\n步骤：1) 明确数据库（如 Scopus/Web of Science/arXiv/Google Scholar）与时间窗，记录检索式、去重和筛选数量；2) 对纳入文献按任务、先验子类、注入表示、注入算子、不确定性、数据集/指标、代码/数据可用性编码；3) 双人独立编码 20–30 篇随机样本，分歧仲裁并计算 Cohen's kappa；4) 重建 PRISMA 类流程图与方法计数；5) 对 Table 3 的 24 条逐条回溯原文，核对主/辅标签与注入算子；6) 用未参与建表的 10–15 篇新论文做 hold-out，检验分类是否可复现、是否有无法归类项。\n验证核心创新的成功标准：编码手册可操作、双编码一致性达到可接受水平（如 κ≥0.7，具体阈值需预设）、hold-out 中≥90% 条目能归入现有类别且主/辅标签可复现、Table 3 关键条目无系统性误标、检索流程可被第三方重放。\n阻塞项：原文未给检索式和筛选计数，项目页/GitHub 本次未访问，Table 3 标签无原始编码记录；因此当前只能重建“分析框架”，不能完整重建“系统检索”。\n\n\n\n\n\n### 应用约束\n\n数据约束：本文是综述，不需要新数据；但若要按 Secs. 3–5 实际使用某方法，依赖其原始数据、基础模型权重和标注（MANO/6D pose/contact/文本），Table 4 未给规模、划分、许可与标注质量，选型时需回原文。\n\n算力与延迟：文中未报告任何方法的训练/推理算力、显存、时延或吞吐；所涉基础模型（SAM/SAM 2、DINOv2、DUSt3R/MoGe-2、Hunyuan3D/InstantMesh、Stable Diffusion、CogVideoX/Wan）通常参数大、多阶段流水线（分割→生成/检索→对齐→优化/扩散）可能带来显著延迟。因此“可部署”不能由本综述推出，只能作为待测假设。\n\n鲁棒性：原文明确指出的高风险场景包括严重遮挡、透明/反射物体、指尖接触、开放世界未知物体、铰接/可变形物体、动态相机与长时程漂移。检索受资产库覆盖限制；生成重建可能产生与接触不一致的几何；grounding 掩码错误会向下游传播；语言推理不保证 collision-free、力闭合或动态可行；视频生成的时间连贯不等于物理正确。\n\n适用性：最适合用作研究地图、选题定位、评审检查表和系统设计时的先验路由假说；不适合直接判定某方法 SOTA、估计部署成本或替代机器人任务成功验证。文中的具身迁移（Sec. 6）是概念性路线梳理，未展示真实机器人部署；任何“已可部署”的说法都属于推断而非论文证据。\n\n工程边界：若要做原型，应优先选择有公开代码/权重、输入输出接口清晰、可单独验证接触/物理的模块；对多阶段生成管线预留失败回退与人工/仿真验证。上述均为分析推断，具体预算与延迟待实测。\n\n\n\n\n\n### 探索问题\n\n问题1：Sec. 1 的 foundation-model-prior 边界与 Table 3 的主/辅标签是否可复现？验证：抽取 30 篇代表性 HOI 论文，由两名编码者依据 Sec. 1 定义独立判定是否属于 foundation-model-prior，并编码任务、先验子类、注入算子与不确定性；计算一致率与 Cohen's kappa，对分歧做仲裁并回溯原文。收益：把“使用大模型”的模糊说法变成可复核的纳入规则，支撑后续元分析。风险：边界本身可能把任务特定预训练或 HOI 域知识排除，导致与作者标签系统性不一致；若原文未报告基础模型版本，编码仍会不确定。\n\n问题2：多先验组合是否在特定任务/不确定性下优于单先验？验证：按任务与主导不确定性分层，选取有公开代码和数据的方法（如 EasyHOI、GHOST、HandOS、MagicHOI、Re-HOLD 中的 3–5 个），在统一 split 与指标协议下做小规模复现或受控消融，至少报告几何、接触/穿透、任务成功或生成条件满足度。收益：检验 Sec. 8.1 的“互补组合”结论是否只是概念归纳，并为先验路由提供证据。风险：数据集、基础模型版本、标注和评测分辨率不一致，复现成本高；若无法统一协议，只能做定性比较。\n\n问题3：HOI-to-robot 迁移的主要瓶颈是 HOI 重建保真度、retargeting 还是机器人执行/物理？验证：选一条 Sec. 6 的管线，固定机器人平台，分别替换或扰动重建、retargeting 和控制器，测量 retargeting error、task success、object-state success、接触时序与安全违规。收益：把 Sec. 6 的五条路线从概念分类推进到可诊断的瓶颈定位。风险：sim-to-real 工程量大、公开 checkpoint 少，结果可能强烈依赖具体机器人与物体集，外推有限。\n\n\n\n\n\n### 引用与核验\n\n本次仅核对文内引用编号、表格与陈述的对应关系，未访问外部论文页面、项目页、GitHub 仓库或数据集主页，因此以下均为“文内支持/待外部核验”。\n\n重点核验对象：\n\n1) 新颖性主张由 Table 1 与 [^27]–[^30] 支撑；四篇综述分别是 Ohkawa et al. 2023、Woo et al. 2023、Miao & Liu 2024、Song et al. 2025。文内标题与年份基本对应，但 Table 1 的七维 ✓/✗ 是作者自评，未给检索协议，不能仅凭该表确认“首个系统综述”。\n2) 最强比较是 Table 1 对四篇综述的覆盖对比；需回原文核验各综述是否确实未覆盖 contact/affordance、foundation model、embodied transfer，尤其不能把“未在标题/摘要出现”等同于“未系统覆盖”。\n3) 近期方法组合的关键引用包括 [^31] EasyHOI、[^32] ArtHOI、[^107] GHOST、[^115] HandOS、[^129] MagicHOI、[^137] Re-HOLD 等；Table 3 的 status 混合会议年份与 arXiv，2026 条目较多，正式发表状态与结果待核验。\n4) 复现依赖的外部资源包括 [^14] DUSt3R、[^17] DINOv2、[^18] Stable Diffusion、[^19] CogVideoX、[^97] MoGe-2、[^102] Hunyuan3D、[^106] SAM 2 等；这些是方法可用性的关键依赖，本次未检查其许可证、版本与代码。\n5) 项目页 <https://zgca-hmi-lab.github.io/HOISurvey> 与 GitHub <https://github.com/SeanChenxy/Hand3DResearch/tree/hoi-survey> 在文内给出，但本次未访问，不能确认“live repository”是否持续更新、条目是否与 Table 3 一致。\n\n其余引用：方法与数据集引用数量大（编号至 [^296]），本次未逐条打开；文内编号与陈述未见明显错配，但不能据此视为已核验。凡涉及外部事实、出版版本、代码可用性和当前 SOTA 的判断，均应标记为待验证，而非已确立事实。\n\n\n\n\n\n### 最终判断\n\n总体判断：这是一份有价值的“研究地图”，可信部分是六任务×八先验的分类轴、注入机制归纳和对各先验失效模式的概念审计；不可信部分是把它当作系统检索穷尽的证据、方法性能排名或部署可行性报告。Table 3 的标签和 Table 1 的自评应视为作者假设，必须回原文与代码核验；Sec. 8.1 的“无单一先验足够”可作为设计假说，而非已证结论。使用建议：用该框架做选题、审稿和系统架构讨论；对具体方法，先核对任务定义、基础模型版本、数据集 split、接触/物理指标和机器人任务成功，再决定是否复现。下一步：优先抽取 3–5 个代表方法（如 EasyHOI、GHOST、HandOS、MagicHOI、Re-HOLD）建立“原文主张—代码/权重—统一评测”的核验表，先验证 Table 3 标签与一个下游接触/任务指标是否一致。"
}