{ "paper_id": "e8a73247e6c4bc1a666ef4edbedf06d7", "paper_title": "HOLD: Category-agnostic 3D Reconstruction of Interacting Hands and Objects from Video", "paper_authors": [ "Zicong Fan", "Maria Parelli", "Maria Eleni Kadoglou", "Xu Chen", "Muhammed Kocabas", "Michael J. Black", "Otmar Hilliges" ], "publication_date": "2024", "publication_venue": "CVPR 2024", "abstract": "人类每天与多样的物体交互，对这些交互的整体3D捕捉对于理解和建模人类行为十分重要。然而，现有基于RGB的手-物重建方法大多假设预扫描的物体模板，或严重依赖有限的3D手-物数据，限制了其扩展和泛化到更无约束交互场景的能力。为此，我们提出HOLD——首个类别无关的方法，能够从单目交互视频中联合重建关节手与物体。我们开发了一种组合式关节隐式模型，可从2D图像重建解耦的3D手与物体，并进一步引入手-物约束以改进手-物姿态，从而提升重建质量。我们的方法不依赖任何3D手-物标注，却在实验室场景和具有挑战性的野外场景中均显著优于全监督基线。此外，我们定性展示了其在野外视频重建中的鲁棒性。", "keywords": [ "hand-object reconstruction", "3D reconstruction", "category-agnostic", "monocular video", "neural implicit representation", "signed distance field", "volumetric rendering", "pose refinement", "egocentric video" ], "paper_institutions": [ "ETH Zürich", "Max Planck Institute for Intelligent Systems" ], "output_language": "zh", "provider": "doubao", "model": "glm-5.3", "prompt_template": "simple", "extracted_at": "2026-09-17T09:28:25.497162Z", "template_tag": "deep_read", "summary": "# HOLD: Category-agnostic 3D Reconstruction of Interacting Hands and Objects from Video\n\n\n**作者 / Authors:** Zicong Fan, Maria Parelli, Maria Eleni Kadoglou, Xu Chen, Muhammed Kocabas, Michael J. Black, Otmar Hilliges\n\n\n**单位 / Institutions:** ETH Zürich, Max Planck Institute for Intelligent Systems\n\n\n\n**输出语言 / Output Language:** zh\n\n\n\n**发表日期 / Publication Date:** 2024\n\n\n\n**期刊/会议 / Publication Venue:** CVPR 2024 (IEEE/CVF Conference on Computer Vision and Pattern Recognition)\n\n\n## 模块 A：阅读对齐与输入校验 / Module A: Reading Alignment and Input Check\n\n## Module A：阅读对齐与输入校验\n\n**分类依据（paper_archetype = method）**：\n\n- 论文核心贡献是提出新方法 HOLD：一个组合式神经隐式模型（HOLD-Net）加上基于交互约束的姿态细化流程，属于新算法/新学习流程，而非系统平台或综述。\n- 论文包含完整的定量评测（Table 1-3）、消融研究（Table 4、Fig. 6）与定性分析，符合典型 method 类论文结构。\n\n### 1. 论文元数据\n\n- **标题**：HOLD: Category-agnostic 3D Reconstruction of Interacting Hands and Objects from Video\n- **作者**（姓名 / 机构 / 背景）：\n - Zicong Fan（ETH Zürich；Max Planck Institute for Intelligent Systems，Tübingen）\n - Maria Parelli（ETH Zürich）\n - Maria Eleni Kadoglou（ETH Zürich）\n - Xu Chen（ETH Zürich；Max Planck Institute for Intelligent Systems，Tübingen）\n - Muhammed Kocabas（ETH Zürich；Max Planck Institute for Intelligent Systems，Tübingen）\n - Michael J. Black（Max Planck Institute for Intelligent Systems，Tübingen）\n - Otmar Hilliges（ETH Zürich）\n- **发表渠道**：CVPR 2024（正文未显式标注会议名，依据披露链接 CoI_CVPR_2024.txt 推断；顶级计算机视觉会议）\n\n### 2. 研究定位\n\n- **研究领域**：计算机视觉 / 3D 重建 / 手-物体交互理解（Sec. 1、Sec. 2）\n- **具体任务**：类别无关（category-agnostic）的手-物交互重建：给定单目 RGB 交互视频，在不假设物体模板、不依赖 3D 手-物标注的前提下，逐帧联合重建铰接手部与未知物体的 3D 表面（Sec. 1、Fig. 1）\n- **目标用户 / 应用场景**：从事 3D 交互捕捉、行为理解与交互建模/合成的研究者与开发者；应用场景覆盖实验室静态相机视频与野外（in-the-wild）第一人称/第三人称移动视角视频（Fig. 1、Fig. 5）\n\n### 3. 输入材料清单\n\n- **PDF**：是（正文全文已提供，含摘要、方法、实验、结论与参考文献）\n- **附录 / 补充材料**：否（正文多处引用 SupMat，如 Sec. 3.1、Sec. 3.2、Sec. 4，但文档中未包含）\n- **代码链接**：否（摘要提及 \"See here for code, data, models, and updates\"，但文档中无实际 URL）\n- **数据集链接**：否（使用公开 HO3D-v3 [^20] 与自采 HOLD 数据集，均未提供链接）\n\n### 4. 缺失材料与风险\n\n- **缺失项**：补充材料（SupMat）、代码仓库、数据集下载链接、HOLD 数据集的采集与标注细节\n- **可能影响**：\n - SupMat 涉及姿态初始化优化、背景模型细节、稀疏损失构造与实现细节（Sec. 3.1、Sec. 3.2.2、Sec. 4），缺失会影响对方法细节的完整理解与复现精度\n - 缺少代码与数据链接限制复现实验及在自采 HOLD 数据集上的验证\n - HO3D 评测协议为作者自定义（每个物体选两条序列、排除 banana 与 scissors，Sec. 4），复现对比时需注意与标准测试集协议的差异\n\n### 5. 阅读路线\n\n- **Step 1**：阅读摘要、Sec. 1 与 Fig. 1、Fig. 2，掌握任务定义（类别无关手-物联合重建）与四阶段整体流程：姿态初始化 → HOLD-Net 预训练 → 交互约束姿态细化 → 最终训练\n- **Step 2**：精读 Sec. 3.2（HOLD-Net：手部逆 LBS 变形、物体刚性变换、NeRF++ 动态背景、组合式体渲染，Fig. 3）与 Sec. 3.2.2 训练损失（RGB、分割、eikonal、SDF 先验、稀疏损失）\n- **Step 3**：研读 Sec. 3.3 基于接触的交互约束姿态细化，理解“手与物体互为互补线索”这一核心洞察的实现方式\n- **Step 4**：分析 Sec. 4 实验：Table 1-3 的 SOTA 对比与泛化性评估，厘清指标定义（MPJPE、CD、F5/F10、CD_h）与评测协议\n- **Step 5**：研读 Sec. 4.2 消融实验（Table 4、Fig. 6），验证联合手-物建模与姿态细化各自的贡献\n- **Step 6**：阅读 Sec. 5 结论与局限性讨论，梳理未来方向（detector-free SfM、生成式先验、更快表示）并形成批判性评估\n\n\n## 模块 B：第一遍鸟瞰扫描（类别/上下文/正确性/贡献/清晰度） / Module B: First Pass Overview (category, context, correctness, contribution, clarity)\n\n## Module B：第一遍通读概览\n\n### 1. 论文类型与类别\n\n- **类型**：方法类论文（paper_archetype = method）。\n- **类别**：计算机视觉 / 3D 重建 / 手-物交互重建。论文提出新方法 HOLD（组合式神经隐式模型 HOLD-Net + 基于交互约束的姿态细化流程），并配套定量评测（Table 1-3）与消融研究（Table 4、Fig. 6），符合典型 method 论文结构（摘要、Sec. 1、Sec. 3、Sec. 4）。\n\n### 2. 研究背景与上下文\n\n- **问题重要性**：人类每天平均与约 140 个物体交互 [^45]，对这些交互进行整体 3D 捕捉是理解、建模与合成人类行为的基础（Sec. 1）。\n- **现有方法的局限**（Sec. 1、Sec. 2）：\n - 假设预扫描物体模板的方法（如 HOMan [^24]、CPF [^68]）无法扩展到野外（in-the-wild）场景；\n - 不依赖模板但用有限 3D 手-物数据训练的方法（如 iHOI [^70]）泛化能力差；\n - DiffHOI [^71] 的数据驱动先验仅在 6 个物体类别上训练，受限于训练类别；\n - 手持物体扫描方法（如 Hampali [^21]、HHOR [^26]、BundleSDF [^67]）不考虑手部铰接，无法处理灵巧交互。\n- **HOLD 的定位**：首个类别无关（category-agnostic）方法，从单目交互视频逐帧联合重建铰接手部与未知物体的 3D 表面，不依赖任何 3D 手-物标注（摘要、Sec. 1）。\n\n### 3. 直觉合理性检查（关键假设及合理性）\n\n- **核心洞察**：交互中的手与物体互为形状与位姿的互补线索（如握持马克杯时，手部几何通过接触约束杯子形状）——符合物理常识，合理（Sec. 1）。\n- **假设 1**：现成手部位姿回归器 [^35] 与分割网络（SAM-track [^6]）足够可靠——大体合理，但检测器式 SfM 在无纹理/细结构物体上会失败（论文自证：banana 与 scissors 上 SfM 不收敛，Sec. 4；Sec. 5 局限性讨论亦承认此点）。\n- **假设 2**：SfM 点云虽噪声大，但仅作初始化；后续用 HOLD-Net 学到的“自定义物体模板”做网格级接触约束细化即可纠正位姿——合理，且被消融实验支持（Table 4：去掉位姿细化后 CD_h 从 11.3 恶化到 122.1 cm²；Fig. 6(b)）。\n- **假设 3**：手与物体在规范空间共享跨帧几何，遮挡区域可由其他帧补全——合理，是时序神经隐式重建的标准做法（Sec. 3.2.1）。\n- **假设 4**：2D 分割掩码噪声可通过损失权重调度缓解（随训练逐渐降低 λ_segm、提高 λ_sdf 与 λ_sparse）——合理（Sec. 3.2.2）。\n\n### 4. 核心贡献\n\n1) **首个类别无关的手-物联合重建方法**：从单目 2D 交互视频重建 3D 手部与物体表面，无需预扫描物体模板或预训练物体类别，也不依赖 3D 手-物标注（摘要、Sec. 1 贡献 1）。\n2) **组合式隐式模型 HOLD-Net**：铰接手部（逆 LBS 变形，Eq. 2）+ 刚性变换物体（含逐帧潜码 z_o）+ NeRF++ 动态背景的组合式体渲染，实现手/物/背景的解耦重建（Sec. 3.2.1、Fig. 3）。\n3) **基于接触的交互约束姿态细化**：利用 HOLD-Net 学到的物体网格与 MANO 手部做接触损失（Eq. 13）与掩码对齐，联合优化手-物位姿，缓解单目深度歧义（Sec. 3.3）。\n4) **实验验证**：在 HO3D-v3 上显著超越全监督 SOTA（Table 1：MPJPE 24.2mm、CD 0.4cm²、F10 96.5%、CD_h 11.3cm²）；在 DiffHOI 未见类别上性能保持一致而基线大幅退化（Table 2）；物体规范形状超越手持扫描 SOTA（Table 3）。\n5) **泛化性展示**：在实验室静态视角与野外第一/第三人称移动视角、多样光照与背景下均能可靠重建（Fig. 1、Fig. 4、Fig. 5）。\n\n### 5. 清晰度评估\n\n- **结构**：四阶段流程（位姿初始化 Sec. 3.1 → HOLD-Net 预训练 Sec. 3.2 → 姿态细化 Sec. 3.3 → 最终训练 Sec. 3.4）逻辑清晰，Fig. 2 总览图与各小节一一对应。\n- **图表**：Fig. 1（任务与效果展示）、Fig. 2（方法总览）、Fig. 3（HOLD-Net 四步渲染管线）质量高；Table 1-4 指标定义明确（MPJPE、CD、F5/F10、CD_h，Sec. 4 Metrics）。\n- **公式**：关键公式（逆 LBS、刚性变换、体渲染 Eq. 7-10、各损失项 Eq. 11-14）定义完整、符号一致。\n- **可读性**：整体良好；实现细节（Adam、每迭代 10 张图、梯度裁剪、预训练 100 epochs 约 10 小时/A100、最终 200 epochs）交代清楚（Sec. 4 Implementation details）。\n- **小瑕疵**：正文多处引用 SupMat（Sec. 3.1、3.2、3.3、4），本文档未附，影响细节复现；HO3D 评测协议为作者自定义（每物体两条训练集序列、排除 banana 与 scissors，Sec. 4），与标准测试集协议存在差异，对比时需注意。\n\n### 6. 继续或停止建议\n\n- **建议：继续深入阅读（值得进行第二、三遍精读）。**\n- **理由**：任务定义新颖（首个类别无关手-物联合重建）、方法组件（组合式隐式模型 + 接触约束细化）技术贡献明确、证据链完整（SOTA 对比 + 泛化性 + 消融 + 野外定性），对从事 3D 交互重建、神经隐式表示与人-物交互建模的读者有直接参考价值。\n- **例外**：若读者仅关心可落地的实时方案，可止步于本概览——训练约需 10 小时/序列（A100，Sec. 4），非实时方法。\n\n### 7. 结构大纲图\n\nmarkmap\n\n# HOLD 论文结构\n\n## 1. 引言\n\n### 任务：类别无关手-物联合重建\n\n### 核心洞察：手与物互为互补线索\n\n## 2. 相关工作\n\n### 3D 手部姿态与形状恢复\n\n### 手-物重建（模板法 / 无模板法）\n\n### 手持物体扫描\n\n## 3. 方法 HOLD\n\n### 3.1 位姿初始化（手部回归器 + SfM/HLoc）\n\n### 3.2 HOLD-Net 训练\n\n#### 手部模型（逆 LBS）\n\n#### 物体模型（刚性变换 + 潜码 z_o）\n\n#### 动态背景（NeRF++）\n\n#### 组合式体渲染\n\n#### 训练损失（RGB/分割/eikonal/SDF 先验/稀疏）\n\n### 3.3 接触约束姿态细化\n\n### 3.4 最终训练\n\n## 4. 实验\n\n### 数据集：HO3D-v3 + 自采 HOLD 数据集\n\n### 4.1 SOTA 对比（Table 1-3、Fig. 4-5）\n\n### 4.2 消融（Table 4、Fig. 6）\n\n## 5. 结论与局限\n\n### 局限：无纹理/细结构物体、RGB 监督、训练耗时\n\n\n## 模块 C1：论文试图解决什么问题？ / Module C1: What problem does the paper try to solve?\n\n## Module C1：论文要解决什么问题？\n\n### 1. 一句话问题定义\n\n论文提出 HOLD，旨在解决：**给定一段手与未知物体交互的单目 RGB 视频，在不假设任何物体模板、不依赖任何 3D 手-物标注的前提下，逐帧联合重建铰接手部与物体的 3D 表面**，即首个类别无关（category-agnostic）的手-物交互重建任务（Sec. 1、Fig. 1、Abstract）。\n\n### 2. 痛点与现有方法缺陷\n\n- **物体模板依赖，难以扩展到野外场景**：大多数手-物重建方法假设预先扫描的物体模板、仅估计手与物体位姿，遇到新物体即失效（Sec. 1、Sec. 2，引用 [^12][^23][^24][^68]）。\n- **无模板方法的泛化能力差**：不依赖模板的方法需在有限的 3D 手-物数据上训练；DiffHOI [^71] 的数据驱动先验仅覆盖 6 个物体类别，在未见类别上所有指标显著退化（Sec. 1、Sec. 2、Table 2：DiffHOI 在 unseen 类别上 CD 从 1.3 恶化到 6.5，F10 从 83.5 降到 57.8）。\n- **忽略手部铰接**：手持物体扫描方法将手视为刚性载体、不重建铰接手部，无法处理灵巧的手-物交互（Sec. 1、Sec. 2，引用 [^21][^26][^79]）。\n- **单目深度歧义导致手-物空间错位**：单目视频 3D 重建严重欠约束，手与物体的相对深度不确定，常出现手-物不真实分离等伪影（Sec. 3.3、Fig. 6(b)、Sec. 4.2 消融：无姿态细化时 CD_h 从 11.3 恶化到 122.1）。\n\n### 3. 形式化目标 / 优化目标\n\n- **任务形式化**：输入单目交互视频，输出每帧的手部表面（由 MANO 姿态 θ∈R^48、形状 β、平移 t_h 驱动的规范空间隐式 SDF/纹理场 f_h，公式 1-2）与物体表面（由尺度 s、旋转 R_o、平移 t_o 驱动的隐式场 f_o，公式 3），并用时变 NeRF++ 背景 f_b 解释动态背景（Sec. 3.2.1，公式 1-4、Fig. 3）。\n- **优化目标**：最小化总损失\n L = L_rgb + λ_segm·L_segm + λ_sdf·L_sdf + λ_sparse·L_sparse + λ_eikonal·L_eikonal（公式 11，Sec. 3.2.2），\n 优化变量包括网络参数 {ψ_h, ψ_o, ψ_b}、逐帧参数 {θ, t_h, R_o, t_o, z_o, z_b} 与全局参数 {β, s}；其中 L_rgb 约束渲染颜色、L_segm 约束手/物/背景三分类解耦、L_eikonal 与 L_sdf（对齐 MANO SDF）正则化手部形状、L_sparse 强制表面外密度稀疏。\n- **姿态细化目标**：先预训练 HOLD-Net 得到粗略物体模板，再通过接触约束 L_contact = Σ_i min_j ||V_tips^i − V_o^j||（公式 12，Sec. 3.3）与遮挡感知掩码损失 L_mask（Soft Rasterizer 渲染，Sec. 3.3）联合优化 {t_h, R_o, t_o, β, s}。\n- **核心洞察**：交互中的手与物体互为形状/位姿的互补线索（如握持接触约束物体形状），联合建模优于分别重建（Sec. 1；消融验证见 Sec. 4.2、Table 4、Fig. 6(a)）。\n\n### 4. 成功标准（指标与期望性质）\n\n- **手部位姿精度**：root-relative MPJPE（mm，越低越好）（Sec. 4 Metrics）。\n- **物体形状质量**：Chamfer Distance（cm²，越低越好）、F-score @5mm/@10mm（%，越高越好；模板评估前做 ICP 对齐以排除位姿影响）（Sec. 4 Metrics）。\n- **手-物相对空间对齐**：hand-relative Chamfer distance CD_h（cm²，越低越好）（Sec. 4 Metrics）。\n- **期望性质与达标证据**：\n 1. 类别无关：不需要物体模板或类别级 3D 监督（Sec. 1 贡献 1）；\n 2. 超越全监督 SOTA：HO3D-v3 上 MPJPE 24.2 vs iHOI 38.4 / DiffHOI 32.3，CD 0.4 vs 3.8 / 4.3，F10 96.5 vs 75.8 / 68.8，CD_h 11.3 vs 41.7 / 43.8（Table 1）；\n 3. 跨类别泛化一致：在 DiffHOI 未见类别上性能几乎不降（Table 2：CD 0.3、F10 96.9）；\n 4. 野外鲁棒性：在自采 HOLD 数据集上，第一/第三人称、静态/移动相机、多样光照与背景下均可靠重建（Fig. 1、Fig. 5、Sec. 4）；\n 5. 组件有效性：联合手-物建模与基于接触的姿态细化均带来可量化的提升（Table 4、Fig. 6）。\n\n\n## 模块 C2：有哪些相关研究？（最强基线/最相近思路/正交方向） / Module C2: What related research exists? (strongest baseline, closest approach, orthogonal directions)\n\n## Module C2：相关工作定位与对比分析\n\n### 1. 最强基线与对比轴\n\n### （1）DiffHOI [^71]（Ye et al., ICCV 2023）—— 最强且最直接的基线\n\n- 方法：在六个物体类别（瓶、杯等）上训练数据驱动的扩散先验（diffusion-guided prior），从分割掩码观测重建手与物体表面（Sec. 1、Sec. 2）。\n- 核心思想：用类别级训练先验弥补单目观测的欠约束性。\n- 局限：受限于训练类别——在未见类别上性能大幅下降（Table 2：F10 从 83.5% 降至 57.8%，CD 从 1.3 升至 6.5 cm²）；且需要类别级手-物 3D 监督。\n- 对比轴：HO3D 上的 MPJPE / CD / F10 / CD_h（Table 1：HOLD 24.2 mm / 0.4 cm² / 96.5% / 11.3 cm² vs DiffHOI 32.3 / 4.3 / 68.8 / 43.8）；泛化性按“DiffHOI 训练类别内/外”划分对比（Table 2）。\n\n### （2）iHOI [^70]（Ye et al., CVPR 2022）\n\n- 方法：不假设物体模板，但在带 3D 标注的手-物数据上训练，且训练时使用了测试物体的 3D 标注（Table 1 脚注 ‡）。\n- 核心思想：以学习到的手-物联合先验直接回归重建。\n- 局限：3D 手-物数据稀缺导致泛化差（Table 1：CD 3.8 cm²、F10 75.8%，显著落后于 HOLD）。\n\n### （3）HOMan [^24]（Hasson et al., 3DV 2021）\n\n- 方法：假设已知物体模板（ground-truth template），估计手与物体位姿。\n- 核心思想：模板约束降低任务难度。\n- 局限：需预扫描模板，无法扩展到 in-the-wild 场景（Sec. 1）。\n- 对比轴：手部位姿 MPJPE 与手相对物体误差 CD_h（Table 1：HOMan CD_h 78.2 vs HOLD 11.3）。\n\n## （4）Hampali et al. [^21]（CVPR 2023）—— in-hand object scanning 的 SOTA\n\n- 方法：相机轨迹对齐 + 体渲染重建手持物体的 canonical 形状。\n- 核心思想：将多视角重建技术适配到手持物体场景。\n- 局限：不重建铰接手部，仅关注物体 canonical 形状。\n- 对比轴：ICP 对齐后的 canonical 物体形状 CD / F5 / F10（Table 3：HOLD 0.5 cm² / 84.3% / 94.4% vs 1.4 / 57.4 / 79.9）。\n\n### 2. 最接近的方法与关键差异\n\n- **DiffHOI [^71]**：与本文最接近——同样不假设物体模板、可重建 novel 物体与铰接手。关键差异：DiffHOI 依赖六个类别的训练先验，HOLD 逐视频（per-video）优化、完全类别无关、无需任何 3D 手-物标注；因此 HOLD 即使在 DiffHOI 的训练类别内也更优（Table 1、Fig. 4 水瓶示例：DiffHOI 倾向重建训练集中的“通用瓶”，而 HOLD 捕捉图中实例的真实细节）。\n- **HHOR [^26]（Huang et al.）与 Prakash et al. [^47]**：同时重建手与物体，但假设手在交互中保持刚性；HOLD 支持铰接手（Sec. 2）。\n- **Hasson et al. [^22]**：无模板手-物联合重建的开创工作，但依赖有限的 3D 手-物数据训练，泛化受限；HOLD 不需要 3D 标注。\n- **Qu et al. [^48]**：可泛化但需要多视角观测；HOLD 只需单目视频（Sec. 2）。\n\n### 3. 正交方向\n\n- **In-hand object scanning**：BundleSDF [^67]（RGBD 输入）、Color-NeuS [^79]、Tzionas et al. [^65]（以手运动作为物体扫描先验）——目标是物体 canonical 形状，手不重建或仅作工具，与本文“联合重建铰接手 + 物体”正交（Sec. 2）。\n- **双手交互重建**：Fan et al. [^11]、Tse et al. [^63]、InterHand2.6M [^41] 等——只重建手、不涉及物体；论文明确声明“Unlike these, we focus on hand-object reconstruction”（Sec. 2）。\n- **基于模板的接触优化**：CPF [^68]（contact potential field）、ContactOpt [^15]、Liu et al. [^37]（半监督伪真值）——需要已知模板或 3D 标注，与本文的模板无关设定正交。\n- **被借用的技术组件（非竞争方法）**：NeRF++ [^77] 动态背景、VolSDF [^69] 的 SDF 体渲染与 error-bounded sampling、SAM/SAM-track [^29][^6] 分割、HLoc [^51][^52] SfM、Soft Rasterizer [^36] 可微渲染、Hi4D [^72] 式 mesh 交互约束、MANO [^50] 手模型——这些是 HOLD 方法的构件而非对比对象。\n\n### 4. 一句话定位\n\nHOLD 是首个类别无关（category-agnostic）的方法：在不假设物体模板、不依赖任何 3D 手-物标注的前提下，从单目交互视频中联合重建铰接手与未知物体的 3D 表面，其差异化核心在于利用“手与物体互为互补线索”的交互约束（接触 + 遮挡感知）进行逐视频联合优化（Sec. 1、Sec. 3.3、Table 1-3）。\n\n\n## 模块 C3：论文如何解决这个问题？（流程图文字版） / Module C3: How does the paper solve the problem? (include a text flowchart)\n\n## Module C3：论文如何解决问题（HOLD 方法机制解析）\n\n### 1. 核心机制概述\n\n- **核心洞察**：交互中的手与物体互为互补线索——手部几何通过接触约束物体的可能形状，物体反过来也约束手的姿态（Sec. 1）。因此 HOLD 将铰接手与未知物体**联合**建模，而非分别重建，且不依赖物体模板或 3D 手-物标注。\n- **总体架构**（Fig. 2）：HOLD = 姿态初始化（Sec. 3.1）→ HOLD-Net 预训练（Sec. 3.2）→ 基于交互约束的姿态细化（Sec. 3.3）→ 最终训练（Sec. 3.4），四阶段交替进行。\n- **表示选择**：手、物体、动态背景分别用规范空间（canonical space）中的神经 SDF + 纹理场表示；手经逆 LBS 变形、物体经刚性变换映射到观测空间；再通过组合式体渲染合成 RGB、前景掩码与三类分割概率，从而仅用 2D 视频监督即可解出解耦的 3D 表面（Sec. 3.2.1, Fig. 3）。\n- **两阶段训练策略**：先短程预训练得到比 SfM 点云更精确的“自定义物体模板”，再用该模板做基于 mesh 的接触约束姿态细化，最后用细化姿态从头完整训练（Sec. 3.3、3.4）。消融实验（Table 4、Fig. 6）证实两个设计各自贡献显著：去掉手部建模 CD 从 0.38 升至 0.41 cm²；去掉姿态细化 CD_h 从 11.3 恶化至 122.1 cm²。\n\n### 2. 分步拆解\n\n### Step 1：姿态初始化（Sec. 3.1）\n\n- 手部：用现成手部回归器 [^35] 估计每帧 MANO 参数：姿态 θ ∈ R^48（含全局朝向）、形状 β、平移 t_h ∈ R^3。\n- 物体：因方法类别无关、现有类别级位姿估计器不适用，先用现成分割网络 [^29]（实现中为 SAM-track，Sec. 4）生成仅物体图像，再用 HLoc [^51][^52] 执行 SfM，得到物体点云及每帧旋转 R_o ∈ SO(3) 与平移 t_o。\n- 尺度与对齐：SfM 只能恢复到任意尺度，故执行一个简单优化——鼓励手-物接触，同时强制手关节与物体点云的 2D 重投影与原图一致——联合更新 {t_h, t_o}、β 与物体尺度 s（细节在 SupMat）。\n\n### Step 2：HOLD-Net 预训练（Sec. 3.2）\n\n- 手模型：规范空间 MLP f_h: R^3 → R × R^3（参数 ψ_h），输入规范点 x，输出到手面符号距离 d 与颜色 c；观测空间点 x' 经逆 LBS 映射回规范空间，骨变换 B_i 由 θ 前向运动学得到，蒙皮权重 w_i(x') 由 K 近邻 MANO 顶点的蒙皮权重按距离加权平均（Sec. 3.2.1）。\n- 物体模型：f_o: R^3 × R^{n_z,o} → R × R^3（参数 ψ_o），附加 32 维逐帧可优化潜码 z_o，建模因姿态、遮挡、阴影引起的外观变化；观测点经逆刚性变换 x = (sR_o)^{-1}(x' − t_o) 回规范空间。\n- 背景模型：沿用 NeRF++ [^77] 的反球面参数化，f_b 以视角方向 v 与 32 维逐帧潜码 z_b 预测包围球外采样点的 SDF 与颜色；画面中人体其他部分也被当作动态背景吸收（Sec. 3.2.1 Background）。\n- 组合式体渲染（Fig. 3）：沿光线 r 对手、物各自做误差受限采样 [^69] 各 n 点，分别逆变换后查询 (σ, c)，按深度排序合并为 2n 点后体渲染；前景掩码概率 M_F(r) = Σ τ_i；最终颜色 C(r) = C_F(r) + (1 − M_F(r))·C_B(r)；另渲染手/物 amodal 掩码概率 M_h、M_o 与手/物/背景三类分类概率 S(r)（Sec. 3.2.1）。\n- 训练损失（Sec. 3.2.2）：L = L_rgb + λ_segm·L_segm + λ_sdf·L_sdf + λ_sparse·L_sparse + λ_eikonal·L_eikonal；L_sdf 以 Loop 细分 [^38] 后的 MANO mesh 的 SDF 作为手部形状先验；L_sparse 惩罚远离手/物 mesh 的光线的 amodal 掩码响应（物体 mesh 由 marching cubes 周期性提取）；由于预测分割掩码有噪声，λ_segm 随训练递减、λ_sdf 与 λ_sparse 递增。\n\n### Step 3：交互约束姿态细化（Sec. 3.3）\n\n- 动机：SfM 点云噪声大、手形状参数未优化；若与 HOLD-Net 联合训练位姿，每帧仅获稀疏训练信号（仅当该帧被采样时），效率低。故先短程训练 HOLD-Net 得到粗略但比 SfM 点云更精确的物体模板。\n- 做法：参照 [^72]，用从 HOLD 提取的物体 mesh 与 MANO mesh 做基于 mesh 的约束，优化 {t_h, R_o, t_o, β, s}：\n - 接触损失：L_contact = Σ_i min_j ‖V_tips^i − V_o^j‖，鼓励常接触的手部顶点（顶点 ID 取自 [^22]）靠近某个物体顶点；\n - 掩码对齐：用 Soft Rasterizer [^36] 可微渲染手/物 amodal 掩码，以遮挡感知项 L_mask 与现成分割掩码对齐（类似 [^76]）。\n\n## Step 4：最终训练（Sec. 3.4）\n\n- 用细化后的 {θ, t_h, R_o, t_o, β, s} 完整训练 HOLD-Net；为避免预训练阶段因位姿不准而学到的伪影，网络参数 {ψ_h, ψ_o, ψ_b, z_o, z_b} 从头初始化。\n- 训练配置（Sec. 4 实现细节）：Adam 优化，每次迭代随机采样 10 张图，梯度裁剪对手模型收敛至关重要；预训练 100 epochs（A100 约 10 小时），最终训练 200 epochs。\n\n### 3. 关键公式与模块角色\n\n- **逆 LBS（手部变形桥）**：x = (Σ_{i=1}^{n_b} w_i(x')·B_i)^{-1} x' —— 把逐帧观测点映射回共享的规范手空间，实现跨帧共享手部几何，遮挡区域可由其他帧互补观测（Sec. 3.2.1）。\n- **物体逆刚性变换**：x = (sR_o)^{-1}(x' − t_o) —— 规范物体形状跨帧共享，仅由逐帧 {s, R_o, t_o} 驱动（Sec. 3.2.1）。\n- **体渲染权重**：τ_i = exp(−Σ_{j B[\"Step 1 姿态初始化
手: 现成回归器 -> MANO theta, beta, t_h
物: 分割 + HLoc SfM -> R_o, t_o, 点云
接触+2D重投影优化 -> 尺度 s 对齐\"]\n B --> C[\"Step 2 HOLD-Net 预训练
组合式隐式SDF: 手(逆LBS) + 物(刚性) + 背景(NeRF++)
损失: RGB + 分割 + eikonal + SDF先验 + 稀疏\"]\n C --> D[\"Step 3 交互约束姿态细化
接触损失 L_contact + 掩码对齐 L_mask
优化 t_h, R_o, t_o, beta, s\"]\n D --> E[\"Step 4 最终训练
细化姿态下从头训练 HOLD-Net
输出: 每帧解耦的手/物 3D 表面\"]\n``n\n\n### 5. 机制有效性佐证（简要）\n\n- **联合建模的必要性**：去掉手部建模后，物体 CD 从 0.38 升至 0.41 cm²、F10 从 96.5% 降至 95.9%，且抓握区域出现空洞（物体网络被迫解释被掩蔽的手部区域）（Table 4、Fig. 6(a)）。\n- **姿态细化的必要性**：去掉细化后 CD_h 从 11.3 恶化到 122.1 cm²，手与物体出现不真实的分离（Table 4、Fig. 6(b)），说明接触约束能有效缓解单目重建中的相对深度不确定性，并连带提升物体模板质量（CD 0.55 → 0.38，F10 94.2% → 96.5%）。\n\n\n## 模块 C4：实验数据集与实现设置（数据集/场景、为何选择、验证哪些关键特性） / Module C4: Datasets and implementation settings (what datasets/scenarios, why chosen, what they validate)\n\n## Module C4：数据集、基准与实现/评测设置\n\n### 1. 数据集与基准清单（由浅入深）\n\n#### 1.1 定量评测数据集：HO3D-v3（in-the-lab）\n\n- **名称/出处**：HO3D-v3（HOnnotate，[^20]，CVPR 2020）\n- **规模与场景**：实验室环境下单目 RGB 视频，手部操纵刚性物体；提供 MANO 手部参数的 3D 标注与物体 6D 位姿标注（Sec. 4 \"In-the-lab dataset\"）\n- **用途**：定量评测（Table 1、Table 2、Table 4）与定性对比（Fig. 4 左侧）\n- **关键限制**：官方测试集不公开 3D 真值，因此作者采用自定义评测协议（见第 2 节）\n\n#### 1.2 自采数据集：HOLD dataset（in-the-wild）\n\n- **规模与场景**：作者自采的家居物品交互视频，覆盖室内与室外场景、不同光照条件；视角包括第一人称移动视角（egocentric）与第三人称静态视角（Sec. 4 \"HOLD dataset\"）\n- **采集设备**：iPhone 14 主摄像头\n- **用途**：定性泛化性验证（Fig. 1、Fig. 5），展示方法在真实无约束场景下的鲁棒性；无 3D 真值，仅做定性分析\n\n#### 1.3 对比基线及其数据依赖（评测公平性背景）\n\n- **HOMan** [^24]：假设已知物体真值模板（Table 1 脚注 †）\n- **iHOI** [^70]：训练时使用测试物体的 3D 标注（Table 1 脚注 ‡）\n- **DiffHOI** [^71]：使用瓶/杯等 6 个类别的 3D 形状作为数据驱动先验训练（Sec. 1、Table 1 脚注 ‡）\n- **Hampali et al.** [^21]：in-hand scanning SOTA；因未开源代码，仅比较其发布的物体点云与本文 canonical 形状（Sec. 4 \"In-hand object scanning\"、Table 3）\n\n### 2. 预处理与划分/覆盖设置\n\n#### 2.1 HO3D-v3 的自定义评测协议（Sec. 4 \"In-the-lab dataset\"）\n\n- 由于 HO3D 测试集无公开真值，作者从**训练集**中选取带 3D 标注的序列：每个物体选 2 条序列——\n 1. 一条与 Hampali et al. [^21] 的选择一致（保证可比性）；\n 2. 另一条随机选取，且要求手与物体全程保持在画面内（简化预处理）。\n- **剔除物体**：banana 与 scissors 因 SfM 不收敛被剔除（缺纹理或细长结构，也是 [^19][^21] 的失败案例）；作为完整性补充，这两个物体使用随机位姿的结果放在 SupMat。\n- **风险提示**：该协议为作者自定义，与 HO3D 标准测试集协议不同，复现对比时需注意差异（Module A 已标注此风险）。\n\n#### 2.2 泛化性评测划分（Table 2）\n\n- 按 DiffHOI 的训练类别将 HO3D 序列划分为两组：\"DiffHOI training\"（属于其训练类别）与 \"DiffHOI unseen\"（超出其训练类别），用于量化类别泛化能力差异。\n\n#### 2.3 HOLD 数据集预处理\n\n- 每段视频**每 10 帧下采样**一次用于实验（Sec. 4 \"HOLD dataset\"）。\n- 使用 SAM-track [^6] 通过对首帧点提示（point-prompting）生成手与物体的分割掩码（Sec. 4 \"Implementation details\"）。\n- 位姿初始化预处理（Sec. 3.1）：现成手部位姿回归器 [^35] 估计手部参数；对物体像素生成 object-only 图像后用 HLoc [^51][^52] 做 SfM 得到物体点云与逐帧旋转/平移；再通过鼓励手-物接触并保持 2D 重投影一致的优化，估计物体尺度 s 并将手与物体对齐到同一空间。\n\n#### 2.4 评测指标定义（Sec. 4 \"Metrics\"）\n\n- **MPJPE [mm]**：根相对（root-relative）平均关节误差，衡量手部位姿。\n- **CD [cm²]**：Chamfer 距离，衡量物体重建质量。\n- **F5 / F10 [%]**：阈值 5mm/10mm 的 F-score，衡量局部形状细节（对离群点比 CD 更鲁棒）。\n- **CD_h [cm²]**：将物体网格减去预测的手根节点后计算的手相对 Chamfer 距离，衡量手-物相对 3D 对齐。\n- **ICP 对齐**：为独立于位姿评估物体模板质量，先对 HO3D 真值网格做允许尺度/旋转/平移的 ICP 对齐，再计算 CD 与 F-score（跟随 [^71]）。\n\n### 3. 训练/推理/评测环境（Sec. 4 \"Implementation details\"、Sec. 3.4）\n\n| 项目 | 设置 |\n|---|---|\n| 优化器 | Adam |\n| 每次迭代 | 从序列中随机采样 10 张图像优化 |\n| 稳定性技巧 | 梯度裁剪（gradient clipping），作者强调对手部模型收敛至关重要 |\n| 预训练 | 100 epochs（约为最终训练的一半，因手/物形状在早期训练即稳定） |\n| 最终训练 | 200 epochs；从头训练 {ψ_h, ψ_o, ψ_b, z_o, z_b} 以避免预训练阶段错误位姿造成的伪影（Sec. 3.4） |\n| 硬件/耗时 | 单张 A100 GPU，初始训练约 10 小时 |\n| 分割掩码 | SAM-track [^6]，首帧点提示 |\n| 可视化 | AITViewer [^28] |\n| 外部依赖 | 手部位姿回归器 [^35]、SAM 分割 [^29]、HLoc/SuperGlue SfM [^51][^52]、Soft Rasterizer [^36]（位姿细化掩码损失）、MANO [^50]（含 Loop 细分平滑 SDF） |\n\n- **推理/评测流程**：方法为 per-video 过拟合（optimization-based）范式，每段视频独立训练 HOLD-Net，不存在跨视频泛化参数；物体网格通过 marching cubes 周期性提取（Sec. 3.2.2），用于稀疏损失与最终表面输出。\n\n### 4. 这些选择为何重要、验证了什么\n\n1. **HO3D-v3 作为唯一有真值的定量基准**：验证 HOLD 在标准实验室条件下相对全监督基线（iHOI、DiffHOI）与模板依赖方法（HOMan）的优势——Table 1 显示 MPJPE 24.2mm、CD 0.4cm²、F10 96.5%、CD_h 11.3cm²，全面领先；核心论点是\"无需任何 3D 手-物标注仍超越全监督方法\"。\n2. **按 DiffHOI 类别划分的泛化实验（Table 2）**：验证\"类别无关\"这一核心主张——DiffHOI 在 unseen 类别上 CD 从 1.3 恶化到 6.5、F10 从 83.5 降至 57.8，而 HOLD 保持一致（CD 0.3–0.4、F10 约 96–97），证明方法不依赖训练类别先验。\n3. **与 in-hand scanning 方法对比（Table 3）**：验证 HOLD 的 canonical 物体形状质量可与专门的物体扫描方法竞争（CD 0.5 vs 1.4，F5 84.3 vs 57.4），且额外重建铰接手部。\n4. **自采 HOLD 数据集（Fig. 1、Fig. 5）**：覆盖室内/室外、第一人称移动/第三人称静态、多样光照与背景，验证真实部署场景（in-the-wild）的鲁棒性；因无真值，仅定性支撑，属证据强度较弱的一环。\n5. **剔除 banana/scissors 的协议选择**：诚实暴露方法边界——基于检测的 SfM 初始化在无纹理/细结构物体上失败（Sec. 5 Limitations 亦承认），定量结果聚焦于 SfM 可行子集，复现时需注意此覆盖范围限制。\n6. **CD_h 指标的引入**：直接检验\"交互约束位姿细化\"（Sec. 3.3）的核心收益——Table 4 消融显示去掉位姿细化后 CD_h 从 11.3 恶化到 122.1，证明手-物相对对齐主要来自接触约束优化。\n7. **每视频优化 + A100/约 10 小时的设置**：表明当前方法计算开销较高（Sec. 5 指出可用更快表示如 HUGS [^30] 加速），适合离线重建而非实时应用；上述环境信息对复现至关重要。\n\n\n## 模块 C5：指标与结果（指标、结果、各指标对应的创新点） / Module C5: Metrics and results (metrics, results, which innovations each metric reflects)\n\n## Module C5：评估指标与实验结果\n\n### 1. 评估指标（定义与说明，Sec. 4 \"Metrics\"）\n\n- **MPJPE（root-relative mean-per-joint error，单位 mm，↓）**：根相对平均每关节误差，衡量手部 3D 姿态估计精度。\n- **CD（Chamfer Distance，单位 cm²，↓）**：倒角距离，衡量重建物体表面与真值表面的整体偏差；对离群点敏感（Sec. 4）。\n- **F-score（F5 / F10，单位 %，↑）**：在 5mm / 10mm 阈值下的 F 分数，衡量局部形状细节；为独立于物体位姿评估模板质量，先对预测网格做允许缩放、旋转、平移的 ICP 对齐至 HO3D 真值网格再计算（遵循 [^71]，Sec. 4）。\n- **CD_h（hand-relative Chamfer distance，单位 cm²，↓）**：将物体网格坐标减去预测的手根节点后计算的倒角距离，衡量手-物相对 3D 空间排布（相对位姿+形状）的准确性（Sec. 4）。\n\n### 2. 评测设置（Sec. 4）\n\n- **数据集**：\n - HO3D-v3 [^20]（实验室定量评测）：每个物体取两条含 3D 标注的训练序列（一条与 Hampali et al. [^21] 保持一致，另一条随机且手物全程在画面内）；剔除 banana 与 scissors（SfM 不收敛，二者对 [^19] [^21] 也是失败案例），相关结果置于 SupMat。\n - 自采 HOLD 数据集（野外泛化评测）：室内外场景、第一人称移动视角与第三人称静态视角、iPhone 14 主摄、不同光照条件，每 10 帧下采样。\n- **实现细节**：Adam 优化器，每次迭代随机优化 10 张图像，使用梯度裁剪（对手部模型收敛至关重要）；预训练 100 epochs（A100 GPU 约 10 小时），最终训练 200 epochs；分割掩码由 SAM-track [^6] 通过首帧点提示生成。\n\n### 3. 主要结果（具体数字）\n\n#### 3.1 与 SOTA 手-物重建方法对比（Table 1，HO3D）\n\n| 方法 | MPJPE [mm]↓ | CD [cm²]↓ | F10 [%]↑ | CD_h [cm²]↓ |\n|---|---|---|---|---|\n| HOMan [^24]（假设真值物体模板） | 32.0 | N/A | N/A | 78.2 |\n| iHOI [^70]（训练使用测试物体 3D 标注） | 38.4 | 3.8 | 75.8 | 41.7 |\n| DiffHOI [^71] | 32.3 | 4.3 | 68.8 | 43.8 |\n| **HOLD（Ours）** | **24.2** | **0.4** | **96.5** | **11.3** |\n\n**关键结论**：HOLD 在不使用任何 3D 手-物标注的前提下全面领先：手部姿态误差较最强基线降低约 25%（24.2 vs 32.3 mm）；物体 CD 降低约一个数量级（0.4 vs 3.8/4.3 cm²）；F10 提升至 96.5%；CD_h 从 41.7/43.8 降至 11.3 cm²，说明手-物相对空间排布也显著更准确（Table 1、Sec. 4.1）。\n\n#### 3.2 泛化性对比（Table 2，按 DiffHOI 训练类别划分 HO3D 序列）\n\n- **DiffHOI 训练类别内**：DiffHOI 34.2 / 1.3 / 83.5 / 42.5；HOLD 22.5 / 0.4 / 95.9 / 10.4\n- **DiffHOI 未见类别**：DiffHOI 30.9 / 6.5 / 57.8 / 44.8；HOLD 25.5 / 0.3 / 96.9 / 12.0\n\n**关键结论**：DiffHOI 在未见类别上 CD 从 1.3 恶化至 6.5、F10 从 83.5 跌至 57.8，而 HOLD 各指标保持稳定（CD 0.3–0.4、F10 约 96–97%），验证类别无关设计的泛化能力；且即使在 DiffHOI 的训练类别上 HOLD 也全面更优——Fig. 4 中水瓶示例显示 DiffHOI 倾向重建其先验训练集中的通用瓶形，而 HOLD 能还原图中物体的真实细节（Table 2、Sec. 4.1）。\n\n#### 3.3 与 in-hand scanning SOTA 对比（Table 3）\n\n- Hampali et al. [^21]：CD 1.4 / F5 57.4 / F10 79.9\n- HOLD：CD 0.5 / F5 84.3 / F10 94.4\n\n**关键结论**：在规范物体形状（canonical shape）上，HOLD 的 CD 降低约 64%，F5/F10 大幅领先（因对方未开源代码，对比基于其发布的物体点云，Table 3、Sec. 4.1）。\n\n#### 3.4 定性结果\n\n- **Fig. 4**：HOLD 在实验室与野外视频中均比 iHOI、DiffHOI 更接近真值，能捕捉马克杯把手、车架等细结构及手物动态姿态；两个基线即使在较简单的实验室数据上也存在细节缺失与位姿错误。\n- **Fig. 5**：HOLD 在静态第三人称与移动第一人称（egocentric）视角、多样光照与背景条件下均能稳定重建。\n\n### 4. 消融研究（Table 4、Fig. 6，Sec. 4.2）\n\n| 配置 | MPJPE [mm]↓ | CD [cm²]↓ | F10 [%]↑ | CD_h [cm²]↓ |\n|---|---|---|---|---|\n| w/o hand（不建模手部） | - | 0.41 | 95.9 | - |\n| w/o pose ref.（无位姿细化） | 24.6 | 0.55 | 94.2 | 122.1 |\n| **HOLD（完整）** | **24.2** | **0.38** | **96.5** | **11.3** |\n\n- **联合手-物建模的贡献**：去掉手部建模后 CD 从 0.38 升至 0.41、F10 从 96.5 降至 95.9；定性上（Fig. 6a）物体在被抓握区域出现空洞，因为物体模型被迫解释被掩蔽的手部像素。这验证了论文核心洞察——手与物体在交互中互为互补线索，联合建模可正确处理手-物遮挡（Sec. 4.2）。\n- **基于接触的位姿细化的贡献**：去掉后 MPJPE 从 24.2 升至 24.6，CD 从 0.38 升至 0.55，CD_h 从 11.3 恶化至 122.1（约 10 倍），说明单目深度歧义会导致手-物空间错位（出现不真实的分离，Fig. 6b），接触约束能显著压缩相对深度不确定性，且位姿改善进一步传导至物体模板重建质量（Sec. 4.2）。\n\n### 5. 敏感性与跨论文比较注意事项\n\n- **评测协议为作者自定义**：HO3D 评测在训练集内选序列、排除 banana 与 scissors，与标准测试集协议不同，跨论文直接比较数值时需谨慎（Sec. 4）。\n- **失败模式相关的敏感性**：细结构/无纹理物体受基于检测器的 SfM 位姿初始化限制（Sec. 5）；RGB 监督可能导致罕见观测区域重建欠佳（Sec. 5）。\n- **计算成本**：每序列预训练约 10 小时（A100），最终训练 200 epochs；作者指出可用更快表示（如 [^30]）加速训练（Sec. 4、Sec. 5）。\n\n\n## 模块 C6：有什么可以进一步探索的点？（理论/工程/数据/评测） / Module C6: What can be further explored? (theory/engineering/data/evaluation)\n\n## Module C6：未来可探索方向\n\n依据论文 Sec. 5（Limitations and discussion）、Sec. 3.1、Sec. 3.3、Sec. 4 及 Table 2 / Table 4 的证据，从理论、工程、数据与评测三个层面梳理后续可探索方向。\n\n### 1. 理论方向\n\n- **交互约束的理论化与可辨识性分析**：论文核心洞察是“手与物体在交互中互为互补线索”（Sec. 1），目前仅通过启发式接触损失 L_contact（Sec. 3.3，对每个指尖顶点取到物体顶点的最小距离）实现。Fig. 6(b) 与 Table 4 显示该约束能显著缓解深度歧义（CD_h 从 122.1 降至 11.3），但缺乏理论刻画：在何种观测条件下，单目视频中的手-物相对位姿是可辨识的？未来可建立接触一致性、非穿透与力平衡等物理可行性约束下的可辨识性理论，将交互约束从经验损失提升为有保证的约束优化框架。\n- **数据驱动先验与逐视频优化的融合理论**：Sec. 5 指出仅靠 RGB 监督难以重建罕见观测区域，建议引入先验（如 DreamFusion [^46]）；但 Table 2 显示 DiffHOI 的类别先验在未见类别上显著退化（F10 从 83.5 降至 57.8），说明先验会引入类别偏差。理论上需研究“弱偏/无偏先验”如何与逐视频 test-time 优化结合，在泛化性与细节保真之间取得可分析的权衡。\n- **组合式隐式表示的解耦理论**：HOLD-Net 通过组合式体渲染与多类分割监督实现手/物/背景解耦（Sec. 3.2.1，式 9-10 及 L_segm，Sec. 3.2.2），未来可从理论上分析解耦误差的来源（分割噪声、遮挡、动态背景）并给出收敛性或一致性保证。\n\n### 2. 工程方向\n\n- **更快的场景表示与训练加速**：Sec. 4 实现细节显示初始训练 100 epochs 约需 10 小时（A100 GPU），最终训练还需 200 epochs；Sec. 5 明确提出可用更快表示（如 HUGS [^30] 的 3D Gaussian Splatting）缩短训练时间。工程上可探索基于高斯泼溅的组合式手-物表示，向近实时重建推进。\n- **更鲁棒的位姿初始化**：Sec. 3.1 依赖基于检测器的 SfM（HLoc [^51][^52]），Sec. 5 承认薄/无纹理物体（如 banana、scissors，Sec. 4）因此初始化失败。可引入 detector-free SfM（LoFTR [^57]、[^25]）或学习式特征对应，提升对挑战性材质与结构的鲁棒性。\n- **更高效的联合优化流程**：Sec. 3.3 指出联合训练 HOLD-Net 与位姿参数效率低（每帧仅获稀疏训练信号），故采用“位姿初始化 → HOLD-Net 预训练 → 交互约束位姿细化 → 最终训练”的四阶段流程（Fig. 2）。工程上可设计交替优化调度、元学习式位姿更新或经可微渲染的直接反传，简化流水线并减少超参依赖。\n- **流式/增量式处理**：当前方法为逐视频离线优化，面向 AR/机器人等在线应用可探索增量式重建与滑动窗口优化。\n\n### 3. 数据与评测方向\n\n- **标准化、更大规模的基准**：Sec. 4 的 HO3D 评测协议为作者自定义（每物体选两条训练序列、排除 banana 与 scissors），与标准测试集协议不可直接比较；未来应构建覆盖更多物体类别与交互模式的公开基准（可扩展 SHOWMe [^58] 一类 object-agnostic 基准），统一评测协议。\n- **HOLD 数据集的定量标注扩展**：自采 HOLD 数据集（Sec. 4，iPhone 14 采集，室内外、第一/第三人称视角）目前仅用于定性评估（Fig. 5），缺少 3D 伪真值；可通过多视角录制、深度传感器或稠密重建管线生成伪 GT，支持 in-the-wild 定量评测。\n- **纳入挑战性物体与铰接物体**：被排除的薄/无纹理物体（banana、scissors）恰是方法薄弱点（Sec. 4、Sec. 5），未来评测应显式包含；并可扩展到铰接物体交互（如 ARCTIC [^12]）与双手交互场景（Sec. 2 相关工作）。\n- **更全面的指标体系**：现有指标（MPJPE、CD、F5/F10、CD_h，Sec. 4）未覆盖接触质量、穿透深度、时间一致性与物理合理性；未来可引入接触误差、时间抖动、物理可行性等指标，更全面刻画交互重建质量。\n\n### 4. 优先级建议\n\n- **短期（工程收益最大）**：detector-free SfM 初始化 + 更快表示加速，直接对应 Sec. 5 列出的两条局限。\n- **中期（方法增益）**：引入弱偏生成先验并设计防类别偏差机制，回应 Table 2 所示的泛化性证据。\n- **长期（领域基建）**：建立含挑战性物体与伪 GT 的野外基准与统一评测协议，回应 Sec. 4 自定义协议带来的可复现性风险。\n\n\n## 模块 C7：现实场景如何体现/实现？（部署约束、算力、延迟、鲁棒性） / Module C7: How would this work in real-world scenarios? (deployment constraints, compute, latency, robustness)\n\n## Module C7：真实世界部署视角（How would this show up in real-world use?）\n\n### 1. 浅层理解：部署形态与典型使用流程\n\n- **逐序列优化，而非前馈推理**：HOLD 对每段视频单独训练一个 HOLD-Net（Sec. 4 Implementation details：\"We train each sequence using Adam\"），即每个新视频都要重跑完整训练流水线，属于离线重建工具，不是即插即用的实时模型。\n- **端到端使用流程**：用户拍摄单目 RGB 手-物交互视频 → 现成组件自动初始化（手部回归器 [^35]、SAM 分割 [^29]、SAM-track 跟踪 [^6]、HLoc SfM [^51][^52]，Sec. 3.1）→ HOLD-Net 预训练（Sec. 3.2）→ 接触约束姿态细化（Sec. 3.3）→ 最终训练（Sec. 3.4）→ 导出逐帧手部与物体 3D 表面。\n- **适配场景**：离线 3D 资产捕获（AR/VR 内容制作）、交互数据集构建、机器人操作示教、行为研究等对质量敏感、对时延不敏感的任务；不适合实时交互捕捉或在线机器人感知。\n\n### 2. 中层分析：部署约束\n\n- **硬件与时间成本**：初始训练 100 epochs 约需 10 小时（A100 GPU），最终训练 200 epochs（Sec. 4 Implementation details；Sec. 3.4 说明预训练轮数为最终训练一半以节省计算），单段视频总耗时在数十小时 GPU 量级。\n- **输入要求**：\n - 单目 RGB 视频即可，但手与物体需持续在画面内交互（任务定义，Sec. 1、Fig. 1）；\n - 自采 HOLD 数据集每 10 帧下采样后使用（Sec. 4），反映方法对数据量与计算量的实际权衡；\n - 物体需具备足够纹理与结构，否则 SfM 不收敛——论文中 banana 与 scissors 即因此被剔除（Sec. 4），这是硬性部署门槛。\n- **外部依赖链**：手部姿态估计器 [^35]、SAM [^29]、SAM-track [^6]、HLoc/SuperGlue [^51][^52] 均为第三方现成模型，其许可证、精度与可用性直接决定端到端效果。\n- **评测协议为作者自定义**（每物体两条序列、排除两个失败物体，Sec. 4），迁移到新领域时需重新验证指标与协议的适用性。\n\n### 3. 计算与延迟影响\n\n- **非实时**：数十小时级训练意味着无法支撑实时应用；渲染（推理）速度论文未报告，但 NeRF 类体渲染需逐帧查询 MLP，速度中等。\n- **训练工程细节**：每次迭代仅优化随机采样的 10 张图像，且梯度裁剪对手部模型收敛至关重要（Sec. 4 Implementation details）——工程复现时需注意数值稳定性配置。\n- **明确给出的加速路径**：作者在 Limitations（Sec. 5）指出可用更快表示（如 HUGS [^30] 的高斯泼溅类方法）缩短训练时间，这是最直接的工程优化方向。\n\n### 4. 鲁棒性与安全性\n\n- **已验证的鲁棒性**：\n - 覆盖实验室静态相机与野外移动第一/第三人称视角、多样光照与背景（Fig. 1、Fig. 5）；\n - 对未见物体类别性能稳定（Table 2：DiffHOI 在未见类别 F10 从 83.5% 降至 57.8%，HOLD 保持 95.9%/96.9%）；\n - 噪声分割掩码通过动态调整损失权重缓解（λ_segm 递减、λ_sdf/λ_sparse 递增，Sec. 3.2.2）；\n - 单目深度歧义导致的手-物空间错位由接触约束姿态细化缓解（Sec. 3.3、Fig. 6b；Table 4：CD_h 从 122.1 降至 11.3 cm²）。\n- **已知失效模式**（Sec. 5 Limitations、Sec. 4）：\n - 薄/无纹理物体受检测器式 SfM 限制，SfM 不收敛时整条流水线失败；\n - 仅靠 RGB 监督难以重建少观测区域，需生成式先验 [^46] 正则化。\n- **安全性考量**：方法本身非安全关键系统；但若下游用于机器人抓取规划或人机交互，重建误差（尤其手-物相对位姿 CD_h）可能传导为执行错误，需在上游增加置信度评估与失败检测。野外拍摄他人手部与环境涉及隐私，实际部署需注意数据合规。\n\n### 5. 可维护性\n\n- **有利因素**：流水线高度模块化，手部估计器、分割网络、SfM 均为可替换组件；作者明确指出 detector-free SfM [^25][^57] 可替换 HLoc 以解决无纹理物体问题（Sec. 5），升级路径清晰。\n- **风险点**：\n - 依赖多个第三方模型，版本漂移与 API 变更可能破坏流水线；\n - 关键超参数（各 λ* 权重、采样点数 n、稀疏损失阈值）与姿态初始化优化细节均在 SupMat 中，正文未给出（Sec. 3.1、3.2.2 多处引用 SupMat），而文档未包含补充材料，复现与长期维护存在信息缺口；\n - 摘要提及 \"See here for code, data, models, and updates\"，但文档中无实际链接，开源状态与维护承诺待确认。\n- **结构性维护负担**：逐序列独立训练意味着知识无法跨视频积累，新视频不能直接复用旧模型（除非以旧权重做初始化），大规模运营时计算与调度成本高——这是与前馈式方法相比最主要的维护劣势。\n\n### 6. 深层评估：落地差距与改进路径\n\n- **当前定位**：研究原型级的离线高保真重建工具——质量全面领先（Table 1-3：MPJPE 24.2 mm、CD 0.4 cm²、F10 96.5%，均显著优于全监督基线），但吞吐量低。\n- **落地路径**：(1) 以 3DGS 类快速表示压缩训练时间（Sec. 5 已建议）；(2) 以 detector-free SfM 扩大可处理物体范围（Sec. 5）；(3) 引入生成先验处理遮挡/少观测区域（Sec. 5）；(4) 将逐序列优化改造为\"前馈初始化 + 测试时微调\"，把单视频重建从数十小时压至分钟级。\n- **结论**：短期内 HOLD 适合离线数据生产与 3D 资产捕获场景；实时或大规模部署需等待上述训练效率与 SfM 鲁棒性改进落地。\n\n\n## 模块 C8：总结主要内容（一段摘要 + 5 条要点 + 1 个核心公式/机制） / Module C8: Summarize the main content (one paragraph + 5 bullets + one core formula/mechanism).\n\n## Module C8：精炼总结\n\n### 1. 总结段落\n\nHOLD 是首个类别无关（category-agnostic）的手-物交互 3D 重建方法，仅从单目 RGB 交互视频即可逐帧联合重建铰接手部与未知物体的高质量表面，无需预扫描物体模板或任何 3D 手-物标注（Sec. 1、Fig. 1）。现有方法要么依赖物体模板而难以扩展到野外场景，要么受限于有限的 3D 手-物训练数据导致泛化能力差（Sec. 1、Sec. 2）。HOLD 的核心洞察是交互中的手与物体互为互补线索：手部几何通过接触约束物体的可能形状，反之亦然（Sec. 1）。方法流程分四阶段：现成手部回归器与 SfM 初始化姿态（Sec. 3.1）→ 预训练组合式神经隐式模型 HOLD-Net（Sec. 3.2）→ 基于接触约束的姿态细化（Sec. 3.3）→ 用细化后的姿态完整训练 HOLD-Net（Sec. 3.4）。实验上，HOLD 在 HO3D-v3 上以 MPJPE 24.2mm、CD 0.4cm²、F10 96.5% 显著超越全监督 SOTA 基线（Table 1），并在 DiffHOI 未见物体类别上保持一致性能（Table 2）。消融研究证实联合手-物建模与接触式姿态细化各自带来实质增益（Table 4、Fig. 6）。方法还展示了在实验室静态视角与野外第一/第三人称移动视角、多样光照与背景下的鲁棒重建（Fig. 5），主要局限在于薄/无纹理物体的 SfM 初始化失败与较长的训练时间（Sec. 5）。\n\n### 2. 五个关键要点\n\n1. **任务定义创新**：提出类别无关的手-物联合重建新任务，不假设物体模板、不依赖物体类别先验与 3D 手-物标注（Sec. 1、贡献 1）。\n2. **组合式隐式表示**：HOLD-Net 以逆 LBS 驱动手部 SDF/纹理场、刚性变换驱动物体 SDF/纹理场、NeRF++ 反转球参数化建模动态背景，经组合体渲染实现手/物/背景三者的解耦重建与跨帧遮挡补全（Sec. 3.2、Fig. 3）。\n3. **交互约束姿态细化**：先由 HOLD-Net 学出比 SfM 点云更精确的自定义物体模板，再用指尖接触损失与遮挡感知掩码损失联合优化手/物姿态，缓解单目深度歧义导致的空间错位（Sec. 3.3、Fig. 6b）。\n4. **无 3D 标注仍超越全监督**：仅用 2D 视频监督即在 MPJPE、CD、F10、CD_h 上全面超越使用 3D 标注训练的 iHOI 与 DiffHOI（Table 1、Fig. 4）。\n5. **强泛化与鲁棒性**：在 DiffHOI 训练类别之外性能不衰减（Table 2），并可处理室内外、不同光照下移动 egocentric 视频的重建（Fig. 5）。\n\n### 3. 核心公式/机制\n\n**组合式体渲染与前景-背景合成**（Sec. 3.2.1，Eq. 9-10）：\n\n前景颜色：$C_F(\\mathbf{r})=\\sum_{i=1}^{2n}\\tau_i\\mathbf{c}_i$，其中 $\\tau_i=\\exp\\left(-\\sum_{j 0 可优化（跟随文献[^69]）。\n- 直觉：越靠近表面的点越实。\n- 论文中的作用：使SDF场可体渲染（Sec. 3.2.1）。\n- 先修知识：VolSDF/NeuS类隐式曲面渲染。\n\n## 15. Error-bounded sampling（误差有界采样）\n\n- 定义：沿光线采样时保证近似误差有上界的采样策略（来自文献[^69]）。\n- 直觉：采样点少但误差可控，节省算力。\n- 论文中的作用：前景（手与物体）渲染的采样方式（Sec. 3.2.1、Fig. 3步骤1）。\n- 先修知识：重要性采样。\n\n## 16. Compositional volumetric rendering（组合式体渲染）\n\n- 定义：分别对手与物体沿同一光线采样，按深度z值排序合并后统一体渲染，再按前景概率 M_F 与背景合成（Eq. 6-10）。\n- 直觉：两套采样点混在一起排深度一起渲染，再叠加背景。\n- 论文中的作用：正确处理手-物互相遮挡并实现解耦（Sec. 3.2.1）。\n- 先修知识：体渲染、alpha合成。\n\n## 17. Amodal mask（非可见完整性掩码）\n\n- 定义：像素属于某物体完整轮廓（含被遮挡部分）的概率。\n- 直觉：被手挡住的杯子部分也算杯子。\n- 论文中的作用：渲染手/物体的amodal概率 M_h、M_o，用于稀疏损失与类别概率渲染（Sec. 3.2.1、3.2.2）。\n- 先修知识：实例分割、amodal segmentation概念。\n\n## 18. Structure-from-Motion / SfM（运动恢复结构，实现用HLoc）\n\n- 定义：从多视图图像恢复相机位姿与稀疏3D点云的技术；论文用HLoc（配合SuperGlue特征匹配）实现。\n- 直觉：多看几眼，三角化出物体的大致形状与每帧位置。\n- 论文中的作用：类别无关的物体位姿初始化，得到物体点云与每帧 R_o、t_o（Sec. 3.1）。\n- 先修知识：多视图几何、特征匹配。\n\n## 19. Scale ambiguity 与尺度对齐优化（尺度歧义与对齐）\n\n- 定义：单目SfM重建存在全局尺度不确定，需通过优化（鼓励手-物接触并保持2D重投影一致）估计物体尺度 s 并更新 t_h、t_o、β。\n- 直觉：不知道点云该是1米还是1厘米大，用手的接触来定标尺。\n- 论文中的作用：将手与物体对齐到同一空间（Sec. 3.1，细节在SupMat）。\n- 先修知识：单目重建的尺度不确定性。\n\n## 20. Eikonal loss（Eikonal损失）\n\n- 定义：约束SDF梯度范数接近1的正则项。\n- 直觉：让网络输出的距离场表现得像真实距离场。\n- 论文中的作用：正则化规范手与物体形状（Sec. 3.2.2）。\n- 先修知识：SDF性质、IGR（隐式几何正则）。\n\n## 21. SDF prior loss（SDF先验损失，含Loop subdivision）\n\n- 定义：使隐式手部SDF接近MANO网格SDF的损失；MANO网格先经Loop细分平滑以获得光滑SDF（Eq. 4）。\n- 直觉：手形状别乱长，向MANO先验靠拢。\n- 论文中的作用：为手部提供形状先验；权重 λ_sdf 随训练渐增（Sec. 3.2.2）。\n- 先修知识：MANO、网格SDF计算、Loop细分。\n\n## 22. Sparse loss（稀疏损失，含marching cubes）\n\n- 定义：对远离手/物体网格的光线，惩罚其amodal掩码概率不为零（Eq. 5）；物体网格由marching cubes从SDF周期性提取。\n- 直觉：表面之外不该有幽灵密度。\n- 论文中的作用：去除表面外漂浮密度；权重 λ_sparse 随训练渐增（Sec. 3.2.2）。\n- 先修知识：光线采样、等值面提取。\n\n## 23. Contact-based pose refinement（基于接触的姿态细化）\n\n- 定义：在HOLD-Net预训练得到粗形状后，利用网格级交互约束优化 {t_h, R_o, t_o, β, s} 的阶段（Sec. 3.3）。\n- 直觉：手握住物体时两者必须贴合，用该约束纠正带噪位姿。\n- 论文中的作用：缓解深度歧义，显著改善手-物相对对齐（CD_h 从122.1降至11.3，Table 4；Fig. 6b）。\n- 先修知识：MANO顶点、网格最近邻、优化。\n\n## 24. Contact loss（接触损失）\n\n- 定义：鼓励频繁接触的手部顶点 V_tips（顶点ID来自文献[^22]）靠近物体顶点的min距离损失（Eq. 11）。\n- 直觉：指尖应该碰到物体表面。\n- 论文中的作用：姿态细化的核心约束（Sec. 3.3）。\n- 先修知识：点对距离、最小化匹配。\n\n## 25. Soft Rasterizer（软光栅化）\n\n- 定义：可微光栅化器，可渲染网格掩码并支持梯度反向传播。\n- 直觉：能求导的画网格轮廓工具。\n- 论文中的作用：渲染手/物体amodal掩码并计算遮挡感知的mask损失 L_mask（Sec. 3.3）。\n- 先修知识：可微渲染。\n\n## 26. SAM-track（Segment and Track Anything）\n\n- 定义：基于SAM的分割与跟踪工具，用首帧点提示（point-prompting）获得手与物体的分割掩码。\n- 直觉：第一帧点一下，全程自动跟踪分割。\n- 论文中的作用：提供分割监督 L_segm 与物体像素提取（供SfM）（Sec. 3.1、Sec. 4实现细节）。\n- 先修知识：图像分割、视频目标分割。\n\n## 27. MPJPE（mean per-joint error，平均每关节误差）\n\n- 定义：根相对（root-relative）的手部关节平均误差，单位毫米。\n- 直觉：手部姿态估得准不准。\n- 论文中的作用：手部姿态指标（Table 1、2、4）。\n- 先修知识：关节误差评测协议。\n\n## 28. Chamfer distance / CD（倒角距离）\n\n- 定义：两个点集/表面间平均最近点距离的对称度量，论文单位为平方厘米。\n- 直觉：两个形状互相量距离。\n- 论文中的作用：物体形状质量指标（Table 1-4）。\n- 先修知识：点云度量。\n\n## 29. F-score（F5/F10）\n\n- 定义：在5mm/10mm阈值下重建点落入真值邻域的百分比，衡量局部细节质量。\n- 直觉：多少比例的点够近算对。\n- 论文中的作用：补充CD对离群点的敏感性（Sec. 4 Metrics、Table 1-3）。\n- 先修知识：精度/召回思想。\n\n**30. CD_h（hand-relative Chamfer distance，手相对倒角距离）**\n\n- 定义：将物体网格减去预测手根关节后计算的Chamfer距离，衡量物体相对手的3D位置与形状。\n- 直觉：物体相对手放没放对地方。\n- 论文中的作用：评估手-物相对空间关系，是姿态细化的主要受益指标（Table 1、2、4）。\n- 先修知识：CD、手根关节定义。\n\n## 31. ICP alignment（迭代最近点对齐）\n\n- 定义：允许尺度、旋转、平移的迭代配准算法。\n- 直觉：把两个形状摆正对齐后再比较。\n- 论文中的作用：与HO3D真值网格对齐后评测物体模板质量，去除位姿影响（Sec. 4 Metrics）。\n- 先修知识：点云配准。\n\n## 32. In-the-lab vs. in-the-wild（实验室场景与野外场景）\n\n- 定义：前者指静态相机、受控条件视频；后者指移动相机、多样光照与背景的真实场景视频，含第一人称（egocentric）与第三人称视角。\n- 直觉：实验室摆拍 vs 现实随手拍。\n- 论文中的作用：两类评测设定，展示方法泛化性（Fig. 1、Fig. 5、Sec. 4）。\n- 先修知识：数据分布差异、egocentric视角概念。\n\n## 33. HO3D-v3\n\n- 定义：带MANO参数与6D物体位姿标注的手-物交互RGB视频数据集。\n- 直觉：手-物重建的标准考场。\n- 论文中的作用：定量评测（Table 1-4）；论文自选训练集每物体两条序列评测，并排除banana与scissors（SfM不收敛）（Sec. 4）。\n- 先修知识：数据集评测协议。\n\n## 34. HOLD dataset\n\n- 定义：论文自采的室内外、第一/第三人称、iPhone 14主摄拍摄的家用物品交互视频集，实验中每10帧下采样。\n- 直觉：自建的野外考试题。\n- 论文中的作用：in-the-wild泛化性定性评估（Sec. 4）。\n- 先修知识：数据采集与预处理。\n\n## 35. Depth ambiguity（深度歧义）\n\n- 定义：单目观测中沿视线方向的深度不确定，导致手-物空间错位（如手与物体不真实分离）。\n- 直觉：照片看不出东西到底离手多远。\n- 论文中的作用：姿态细化要解决的核心问题（Sec. 4.2、Fig. 6b）。\n- 先修知识：单目3D重建的病态性。\n\n## 36. Disentanglement（解耦）\n\n- 定义：将手、物体、背景的几何与外观分离建模，使各自可独立重建与渲染。\n- 直觉：各管各的，互不干扰。\n- 论文中的作用：组合式模型与多类分割损失 L_segm 的目标（贡献2、Sec. 3.2.2）。\n- 先修知识：表示学习、场景分解。\n\n### 二、概念依赖图（文本版）\n\n【第0层：数学与表示基础】\nSDF ──┬──→ Eikonal loss（梯度范数≈1正则）\n ├──→ SDF先验损失（对齐MANO SDF，Loop细分平滑）\n └──→ VolSDF式SDF→密度转换（Laplace CDF）──→ 体渲染\nMLP神经场（f_h, f_o, f_b）──→ 规范空间形状/外观表示\nNeRF体渲染 ──→ 组合式体渲染\n\n【第1层：手与物体的参数化】\nMANO（θ, β）──┬──→ 手部位姿初始化（现成回归器）\n ├──→ 前向运动学 → 骨骼变换B_i → LBS → 逆LBS（观测→规范空间）\n ├──→ SDF先验（形状正则）\n └──→ 接触顶点V_tips（姿态细化）\n刚性变换（s, R_o, t_o）──→ 物体观测→规范空间映射\n规范/观测空间概念 ──→ 跨帧共享几何（遮挡区域由其他帧补全）\n\n【第2层：场景分解与渲染】\n组合式隐式模型 = 手网络f_h + 物体网络f_o + NeRF++动态背景f_b（反演球参数化、潜码z_b）\n时间潜码z_o ──→ 物体外观变化建模（遮挡/阴影）\n组合式体渲染（误差有界采样 + 深度排序合并 + 前景概率M_F合成）──→ RGB渲染、amodal掩码M_h/M_o、类别概率S(r)\n分割网络（SAM-track）──→ L_segm监督 + 物体像素提取（供SfM）\n\n【第3层：位姿初始化与细化】\n现成手部位姿回归器 ──→ 手部初始位姿（θ, β, t_h）\nSfM（HLoc + SuperGlue）──→ 物体点云与R_o, t_o ──→ 尺度对齐优化（接触+2D重投影）──→ s, t_h, t_o, β\nHOLD-Net预训练（粗形状）──→ marching cubes提取物体网格\n接触损失（V_tips↔物体顶点）+ Soft Rasterizer掩码损失 ──→ 姿态细化 ──→ 缓解深度歧义（CD_h: 122.1→11.3）\n\n【第4层：训练与评测】\n总损失 L = L_rgb + λ_segm·L_segm + λ_sdf·L_sdf + λ_sparse·L_sparse + λ_eikonal·L_eikonal\n（λ动态调度：λ_segm渐减，λ_sdf、λ_sparse渐增）\n最终训练（细化后位姿，网络从头训练）──→ 每帧手/物3D表面\n评测：MPJPE（手姿态）、CD/F5/F10（模板质量，ICP对齐）、CD_h（手-物相对位姿）\n数据：HO3D-v3（in-the-lab定量）、HOLD数据集（in-the-wild泛化）\n\n【核心洞察链】\n手-物互补线索（接触约束形状与位姿）──→ 联合建模优于单独建模（消融Table 4：w/o hand使CD 0.38→0.41、F10 96.5→95.9）\n位姿细化 ──→ 手-物相对对齐改善 ──→ 形状重建同步提升（CD 0.55→0.38、CD_h 122.1→11.3）\n\n\n\n\n## 模块 G：联网核验与引用校对 / Module G: Verification and Citation Check\n\n## Module G：验证与引用核查\n\n### 1. 关键事实性主张核查\n\n以下对论文核心事实性主张逐条核查，每条给出至少两个文内来源（章节/图表/公式），并标注核查状态。\n\n### 主张 1：HOLD 是首个类别无关（category-agnostic）的单目视频手-物联合重建方法\n\n- 来源 1：Abstract（“the first category-agnostic method that reconstructs an articulated hand and an object jointly from a monocular interaction video”）\n- 来源 2：Sec. 1 贡献列表第 1 条；Sec. 5 Conclusion 重申同一表述\n- 交叉佐证：Sec. 2 Related Work 论证 Ye et al. [^71] 的先验仅覆盖六个训练类别、in-hand scanning 方法 [^21] [^26] [^79] 不重建铰接手部，构成“首个”的文内逻辑支撑\n- 核查状态：文内自洽；“首个”属作者声明，独立核实需系统性文献检索，存在被并行工作挑战的可能。\n\n**主张 2：在 HO3D-v3 上显著优于 SOTA（MPJPE 24.2 mm、CD 0.4 cm²、F10 96.5%、CD_h 11.3 cm²）**\n\n- 来源 1：Table 1 中 “Ours” 行数值\n- 来源 2：Sec. 4.1 首段文字（“HOLD significantly outperforms existing methods in terms of hand pose (MPJPE) and object shape (CD, F10) quality”）\n- 核查状态：文内一致。注意评测协议为作者自定义（每物体取训练集两条序列、排除 banana 与 scissors，Sec. 4），与 HO3D 官方测试集协议不同，数值不可与其他论文报告值直接比较。\n\n### 主张 3：泛化性优于 DiffHOI——未见类别上 DiffHOI 大幅退化（CD 1.3→6.5，F10 83.5→57.8），HOLD 保持稳定（CD 0.4→0.3，F10 95.9→96.9）\n\n- 来源 1：Table 2\n- 来源 2：Sec. 4.1 “Generalization” 段落；Fig. 4 中 drill 与水瓶的定性对比\n- 核查状态：文内一致。\n\n## 主张 4：与 in-hand scanning SOTA（Hampali et al. [^21]）对比，HOLD 的正则（canonical）物体形状更优（CD 0.5 vs 1.4；F5 84.3 vs 57.4；F10 94.4 vs 79.9）\n\n- 来源 1：Table 3\n- 来源 2：Sec. 4.1 “In-hand object scanning” 段落\n- 核查状态：文内一致；但对方未开源代码，比较对象为其发布的物体点云，并经允许尺度/旋转/平移的 ICP 对齐，比较条件相对宽松。\n\n**主张 5：消融验证——联合手-物建模提升物体重建（CD 0.41→0.38，F10 95.9→96.5）；接触约束姿态细化大幅改善手-物相对位姿（CD_h 122.1→11.3）**\n\n- 来源 1：Table 4\n- 来源 2：Fig. 6 (a)(b) 定性图示；Sec. 4.2 两段分析文字\n- 核查状态：文内一致；CD_h 由 122.1 降至 11.3 是姿态细化价值的最强定量证据。\n\n## 主张 6：方法为四阶段流程——姿态初始化（现成手部回归器 [^35] + SAM [^29] 分割 + HLoc [^51] [^52] SfM）→ HOLD-Net 预训练 → 基于接触的位姿细化 → 最终训练\n\n- 来源 1：Fig. 2 方法总览图\n- 来源 2：Sec. 3.1–3.4 各小节逐一对应\n- 核查状态：文内一致。\n\n## 主张 7：训练成本——初始训练 100 epochs 约 10 小时（A100 GPU），最终训练 200 epochs\n\n- 来源 1：Sec. 4 “Implementation details”\n- 来源 2：Sec. 3.4（“HOLD-Net is pre-trained with half the number of epochs compared to this full-training stage”，即 100 vs 200，两处一致）\n- 核查状态：文内一致；10 小时为作者自报，无外部复现佐证。\n\n## 主张 8：不依赖任何 3D 手-物标注即可超越全监督基线\n\n- 来源 1：Abstract（“does not rely on any 3D hand-object annotations”）\n- 来源 2：Sec. 4.1（“our method only uses the input 2D monocular video without requiring any 3D annotation”）；Sec. 5\n- 核查状态：文内一致；但手部姿态初始化使用预训练回归器 [^35]，其自身训练可能间接依赖 3D 手部数据，作者声明的准确含义是“不使用手-物 3D 标注”，解读需精确。\n\n## 主张 9：发表于 CVPR 2024\n\n- 来源 1：Disclosure 链接 \n- 来源 2：致谢（Swiss SERI Consolidation Grant “AI-PERCEIVE”）及正文典型的 CVPR 8 页双栏结构\n- 核查状态：正文未显式标注会议名，属合理推断；建议经 CVF Open Access 或 arXiv 检索最终确认。\n\n### 2. 冲突与不确定性说明\n\n1. **发表渠道为推断而非明示**：正文与参考文献均未写出 “CVPR 2024”，仅能由 Disclosure 文件名推断，存在小概率误差。\n2. **SupMat 缺失**：Sec. 3.1、Sec. 3.2、Sec. 3.3、Sec. 4 多处引用补充材料，但文档未包含；姿态初始化优化、背景模型、稀疏损失构造与实现细节无法核查。\n3. **代码与数据链接缺失**：Abstract 写有 “See here for code, data, models, and updates”，但文档中无实际 URL，开源承诺无法验证。\n4. **参考文献 [^51] 条目疑似损坏**：HLoc 的引文在列表中呈现乱码（“Rodenau, Roland Siegwart, and Robust hierarchical and Pattern”），完整书目应为 Sarlin et al. 的分层定位工作（From Coarse to Fine: Robust Hierarchical Localization, CVPR 2019）；紧随的 [^52] SuperGlue 条目完整。核查时需以 DBLP/arXiv 为准。\n5. **评测协议自定义**：HO3D 评测使用训练集序列而非官方测试集，并排除 banana 与 scissors（SfM 不收敛，Sec. 4）；作者称这两个物体的结果以随机位姿形式报告于 SupMat（缺失），无法核实。\n6. **基线设定差异**：Table 1 注明 HOMan 假设真值物体模板、iHOI 训练时使用测试物体 3D 标注；HOLD 的领先部分来自设定差异，解读优势幅度时需谨慎。\n7. **“平均每天交互 140 个物体”（Sec. 1）的出处 [^45]** 为 2015 年网络文章（非同行评审），该统计难以独立核实。\n8. **Table 4 中 “w/o hand” 行**的 MPJPE 与 CD_h 为 “-”：因该消融不建模手部，属合理留空而非数据缺失，但导致这两项指标无法做消融对比。\n9. **部分参考文献条目不完整**：如 [^40]、[^42]、[^54]、[^55] 缺页码/出版细节，[^19] 为 PhD thesis；外部核查时需补全。\n10. **所有定量数字均为作者自报**：Table 1–4 数值在文内多处引用一致，但无第三方复现；外部验证依赖开源代码（当前缺失）。\n\n### 3. 参考文献列表（核查相关关键文献）\n\n完整列表共 82 条（见文末 References），以下列出与验证本文主张最相关的条目：\n\n## 数据集与评测\n\n- [^20] S. Hampali, M. Rad, M. Oberweger, V. Lepetit. HOnnotate: A method for 3D annotation of hand and object poses. CVPR 2020.（HO3D 数据集来源）\n- [^19] S. Hampali. 3D Pose and Shape Estimation of Objects and Hands in Challenging Scenarios. PhD thesis, TU Graz, 2023.\n\n## 对比基线\n\n- [^24] Y. Hasson et al. Towards unconstrained joint hand-object reconstruction from RGB videos. 3DV 2021.（HOMan）\n- [^70] Y. Ye, A. Gupta, S. Tulsiani. What's in your hands? 3D reconstruction of generic objects in hands. CVPR 2022.（iHOI）\n- [^71] Y. Ye et al. Diffusion-guided reconstruction of everyday hand-object interaction clips. ICCV 2023.（DiffHOI）\n- [^21] S. Hampali et al. In-hand 3D object scanning from an RGB sequence. CVPR 2023.\n\n## 方法组件\n\n- [^50] J. Romero, D. Tzionas, M. J. Black. Embodied hands: Modeling and capturing hands and bodies together. TOG 36(6), 2017.（MANO 手部模型）\n- [^35] K. Lin, L. Wang, Z. Liu. End-to-end human pose and mesh reconstruction with transformers. CVPR 2021.（手部姿态初始化）\n- [^29] A. Kirillov et al. Segment anything. ICCV 2023.（SAM 分割）\n- [^6] Y. Cheng et al. Segment and track anything. arXiv:2305.06558, 2023.（SAM-track）\n- [^51] P.-E. Sarlin et al.（HLoc；文内条目损坏，需外部核实完整书目）\n- [^52] P.-E. Sarlin et al. SuperGlue: Learning feature matching with graph neural networks. CVPR 2020.\n- [^77] K. Zhang et al. NeRF++: Analyzing and improving neural radiance fields. arXiv:2010.07492, 2020.（动态背景模型）\n- [^69] L. Yariv et al. Volume rendering of neural implicit surfaces (VolSDF). NeurIPS 2021.（SDF→密度转换与误差有界采样）\n- [^17] C. Guo et al. Vid2Avatar: 3D avatar reconstruction from videos in the wild via self-supervised scene decomposition. CVPR 2023.（场景分解范式参考）\n- [^16] A. Gropp et al. Implicit geometric regularization for learning shapes. ICML 2020.（eikonal 损失）\n- [^36] S. Liu et al. Soft rasterizer: A differentiable renderer for image-based 3D reasoning. ICCV 2019.（可微渲染用于 mask 损失）\n- [^72] Y. Yin et al. Hi4D: 4D instance segmentation of close human interaction. CVPR 2023.（交互约束位姿细化的参考实现）\n- [^67] B. Wen et al. BundleSDF: Neural 6-dof tracking and 3d reconstruction of unknown objects. CVPR 2023.（in-hand scanning 相关）\n- [^26] D. Huang et al. Reconstructing hand-held objects from monocular video. SIGGRAPH Asia 2022.（HHOR）\n- [^79] L. Zhong et al. Color-NeuS: Reconstructing neural implicit surfaces with color. 3DV 2024.\n\n**外部核查建议**：上述会议/年份信息与正文引用一致；最终核实可通过 DBLP、CVF Open Access、arXiv 交叉比对，重点确认 [^51] 的完整书目信息与本文的正式出版记录（会议名、页码、DOI）。\n\n\n\n## 模块 H：图表与表格抽取（索引/打分/深读） / Module H: Figure/Table Mining (index, scoring, top deep dive)\n\n## Module H：图表提取与深度解读\n\n### 1. 图表完整索引\n\n#### 1.1 图（Figures）索引\n\n| 编号 | 标题/内容摘要 | 类型 | 位置 | 支持的论断 | 深读优先级评分（1–5） |\n|---|---|---|---|---|---|\n| Fig. 1 | HOLD 效果总览：给定单目手-物交互视频，在实验室静态相机（in-the-lab static view）与野外第一人称移动视角（in-the-wild moving view）下重建高质量 3D 手与物体表面；展示输入图像与重建表面法线 | 定性结果图（teaser） | Sec. 1 / 第 1 页 | 方法在 in-the-lab 与 in-the-wild 两种设定下均能可靠重建（摘要、Sec. 1） | 2 |\n| Fig. 2 | 方法总览：每帧先用现成估计器初始化手与物体姿态 → 短暂预训练 HOLD-Net（组合式隐式 SDF）→ 用手-物交互约束细化姿态 → 用细化后姿态完整训练 HOLD-Net | 流程图（pipeline） | Sec. 3 / 第 2–3 页 | 四阶段流水线设计，与 Sec. 3 开篇文字一一对应 | 5 |\n| Fig. 3 | HOLD-Net 架构：1) 对物体/手/背景沿光线独立进行 error-bounded sampling；2) 观察空间点经刚性变换（物体）或逆 LBS（手）映射回规范空间；3) 从规范网络查询 SDF 与颜色；4) 按 z 值排序合并并体渲染得到像素颜色；右侧为渲染 RGB 与法线图 | 模型架构图 | Sec. 3.2.1 / 第 3–4 页 | 组合式神经隐式模型实现手/物/背景解耦渲染（Sec. 3.2.1） | 5 |\n| Fig. 4 | 与 SOTA 定性对比：左侧 in-the-lab、右侧 in-the-wild；HOLD 形状更准、细节更丰富（如 mug handle、car frame）、姿态更准；可重建独特物体（右下 Lego mug）；右上水瓶示例显示 DiffHOI 受数据先验偏置影响而重建出通用瓶形 | 定性对比图 | Sec. 4.1 / 第 6 页 | Table 1、Table 2 定量优势的视觉佐证；对训练分布外物体的泛化能力 | 4 |\n| Fig. 5 | 更多定性结果：HOLD 重建的手与物体法线渲染，覆盖静态视角与移动第一人称（egocentric）视角 | 定性结果图 | Sec. 4.1 / 第 7 页 | 方法在不同背景、光照与相机运动下的鲁棒性（Sec. 4.1 末段） | 3 |\n| Fig. 6 | 消融定性图：(a) 联合重建手与物体可有效减少伪影（无手模型时物体在抓握区出现空洞）；(b) 无接触姿态细化时，深度歧义导致手-物空间错位（旋转视角展示） | 消融定性图 | Sec. 4.2 / 第 7 页 | 联合建模与姿态细化各自贡献的定性证据（与 Table 4 互补） | 4 |\n\n#### 1.2 表（Tables）索引\n\n| 编号 | 标题/内容摘要 | 类型 | 位置 | 支持的论断 | 关键数值 | 深读优先级评分（1–5） |\n|---|---|---|---|---|---|---|\n| Table 1 | 与 SOTA 手-物重建方法在 HO3D 上的对比（HOMan†、iHOI‡、DiffHOI、Ours） | 主定量对比表 | Sec. 4.1 / 第 6 页 | HOLD 在手部姿态（MPJPE）、物体形状（CD、F10）与手-物相对对齐（CD_h）上全面领先，且不使用任何 3D 手-物标注 | Ours：MPJPE 24.2 mm / CD 0.4 cm² / F10 96.5% / CD_h 11.3 cm²；最强基线 DiffHOI：32.3 / 4.3 / 68.8 / 43.8 | 5 |\n| Table 2 | 与 DiffHOI 的泛化性对比：按物体是否属于 DiffHOI 训练类别划分 HO3D 序列 | 泛化性定量表 | Sec. 4.1 / 第 6 页 | DiffHOI 在未见类别上所有指标显著退化，HOLD 在两类别上性能一致，且在其训练类别上仍大幅领先 | 未见类别：DiffHOI CD 6.5 / F10 57.8 vs Ours CD 0.3 / F10 96.9；训练类别：DiffHOI CD 1.3 / F10 83.5 vs Ours CD 0.4 / F10 95.9 | 5 |\n| Table 3 | 与 SOTA in-hand scanning 方法（Hampali et al. [^21]）的物体规范形状对比 | 定量对比表 | Sec. 4.1 / 第 6–7 页 | HOLD 的规范物体形状（CD）与局部细节（F5、F10）优于 in-hand scanning SOTA | Ours：CD 0.5 / F5 84.3 / F10 94.4；Hampali：1.4 / 57.4 / 79.9 | 3 |\n| Table 4 | 消融研究：w/o hand（不建模手部）、w/o pose ref.（无姿态细化）、Ours | 消融定量表 | Sec. 4.2 / 第 7 页 | 联合手-物建模提升物体重建精度；姿态细化改善手-物位姿进而提升物体重建 | w/o hand：CD 0.41 / F10 95.9；w/o pose ref.：MPJPE 24.6 / CD 0.55 / F10 94.2 / CD_h 122.1；Ours：24.2 / 0.38 / 96.5 / 11.3 | 5 |\n\n### 2. 最高优先级深读条目（Top-priority deep reads，共 5 项）\n\n1. **Fig. 2 + Fig. 3（方法流水线与 HOLD-Net 架构，Sec. 3、Sec. 3.2.1）**\n - 深读理由：二者共同定义方法的全部计算路径。Fig. 2 给出四阶段流程（姿态初始化 → HOLD-Net 预训练 → 交互约束姿态细化 → 最终训练）；Fig. 3 给出组合式渲染的四步机制（误差有界采样 → 规范空间映射 → SDF/颜色查询 → 按 z 值排序合并体渲染）。\n - 关键检查点：手部逆 LBS（Eq. 2）与物体刚性变换（Eq. 3/4）的映射差异；背景采用 NeRF++ 反转球参数化；前景掩码概率 M_F(r)、amodal mask M_h/M_o 与三类分割概率 S(r) 的渲染推导（Sec. 3.2.1 末尾，文中引用 Eq. 9–10）。\n\n2. **Table 1（主结果表，Sec. 4.1）**\n - 深读理由：支撑核心论断——无需 3D 手-物标注即超越全监督 SOTA。注意表脚注：HOMan† 假设已知物体模板；iHOI‡ 训练时使用测试物体的 3D 标注，而 DiffHOI 与本文不使用。\n - 关键检查点：评测协议为作者自定义（每个物体取两条含 3D 标注的训练集序列、排除 banana 与 scissors，Sec. 4），与标准 HO3D 测试集协议不同，复现对比时必须对齐协议。\n\n3. **Table 2（泛化性对比，Sec. 4.1）**\n - 深读理由：直接支撑标题级的 category-agnostic 主张。DiffHOI 在未见类别上 CD 从 1.3 恶化到 6.5、F10 从 83.5 降至 57.8，而 HOLD 保持 CD ≤ 0.4、F10 ≥ 95.9。\n - 关键检查点：类别划分依据为 DiffHOI 的训练类别；结合 Fig. 4 右上水瓶示例理解 DiffHOI 的先验偏置（倾向重建其训练集中的通用瓶形）。\n\n4. **Table 4 + Fig. 6（消融研究，Sec. 4.2）**\n - 深读理由：验证两大设计选择的必要性。w/o hand 使物体在抓握区出现空洞（CD 0.38→0.41、F10 96.5→95.9）；w/o pose ref. 使 CD_h 从 11.3 恶化到 122.1，说明单目深度歧义下接触约束对手-物相对位姿具有决定性作用。\n - 关键检查点：CD_h 的定义（物体网格减去预测手根节点后的 hand-relative Chamfer distance，Sec. 4 Metrics）；Fig. 6(b) 采用旋转视角以凸显空间错位。\n\n5. **Fig. 4（定性对比，Sec. 4.1）**\n - 深读理由：定量表的视觉佐证，并揭示方法能力边界：HOLD 能重建 drill、Lego mug 等独特物体，而 iHOI/DiffHOI 在分布外物体上失效。\n - 关键检查点：对比对象为 iHOI 与 DiffHOI；注意 in-the-lab（左）与 in-the-wild（右）两组样本的难度差异。\n\n### 3. 图表关系 / 实验设置图\n\n``n输入：单目 RGB 手-物交互视频\n │\n ▼\n[Sec. 3.1] 姿态初始化\n 手：现成手部回归器 [35] → θ, β, t_h\n 物：分割网络 [29] → 物体图像 → HLoc SfM [51,52] → R_o, t_o\n 接触 + 2D 重投影优化 → 对齐尺度 s、更新 t_h/t_o/β\n │\n ▼\n[Sec. 3.2] HOLD-Net 预训练（100 epochs，约 10 小时，A100）\n ┌──────────────── Fig. 3 架构 ────────────────┐\n │ 手部 f_h（逆 LBS 变形）＋ 物体 f_o（刚性变换） │\n │ ＋ 动态背景 f_b（NeRF++）→ 组合式体渲染 │\n └──────────────────────────────────────────────┘\n 损失：L = L_rgb + λ_segm·L_segm + λ_sdf·L_sdf\n + λ_sparse·L_sparse + λ_eikonal·L_eikonal\n │\n ▼\n[Sec. 3.3] 姿态细化：L_contact（指尖顶点-物体顶点最近距离）\n + L_mask（Soft Rasterizer 遮挡感知掩码对齐）\n │\n ▼\n[Sec. 3.4] 最终训练（200 epochs，ψ_h/ψ_o/ψ_b/z_o/z_b 从头训练）\n │\n ▼\n评测（Sec. 4）\n ├─ in-the-lab：HO3D-v3（作者自定义协议，排除 banana/scissors）\n │ ├─ Table 1（SOTA 对比：HOMan / iHOI / DiffHOI）\n │ ├─ Table 2（泛化：DiffHOI 训练类别内 vs 未见类别）\n │ ├─ Table 3（vs in-hand scanning SOTA [21]）\n │ └─ Table 4 + Fig. 6（消融：w/o hand、w/o pose ref.）\n └─ in-the-wild：自采 HOLD 数据集（iPhone 14，第 1/第 3 人称，\n 室内外、多样光照，每 10 帧降采样）\n └─ Fig. 1、Fig. 4（右）、Fig. 5（定性鲁棒性，无量化指标）\n``n\n关系说明：\n\n- Fig. 2 是总纲，Fig. 3 是其中第 2/4 阶段（HOLD-Net 训练）的内部架构细节。\n- Table 1/2/3 共享同一评测协议与指标体系（Sec. 4 Metrics：MPJPE、CD、F5/F10、CD_h；物体模板指标在 ICP 对齐后计算）。\n- Table 4 与 Fig. 6 一一对应：w/o hand 行对应 Fig. 6(a)（联合建模），w/o pose ref. 行对应 Fig. 6(b)（姿态细化）。\n- Fig. 4/5 为 Table 1/2 结论的定性补充，覆盖 in-the-lab 与 in-the-wild 两种数据来源。\n\n### 4. 图表 → 结论映射\n\n| 论断（结论） | 支撑图表 | 证据要点 |\n|---|---|---|\n| HOLD 首次实现类别无关的手-物联合重建，且无需 3D 手-物标注即超越全监督 SOTA | Table 1、Fig. 4（左） | MPJPE 24.2 vs 32.3（DiffHOI）；CD 0.4 vs 4.3；基线使用 3D 监督而本文仅用 2D 单目视频（Sec. 4.1） |\n| 方法具备类别无关泛化能力，在训练分布外物体上保持一致性能 | Table 2、Fig. 4（右上水瓶、drill、Lego mug） | DiffHOI 未见类别 F10 降至 57.8，HOLD 保持 96.9（Sec. 4.1 Generalization 段） |\n| 物体规范形状质量优于 in-hand scanning SOTA | Table 3 | CD 0.5 vs 1.4；F5 84.3 vs 57.4；F10 94.4 vs 79.9（Sec. 4.1） |\n| 联合建模手与物体优于仅建模物体 | Table 4（w/o hand 行）、Fig. 6(a) | 去掉手部建模后物体在抓握区出现空洞，CD 0.38→0.41、F10 96.5→95.9（Sec. 4.2） |\n| 基于接触的姿态细化显著改善手-物相对位姿 | Table 4（w/o pose ref. 行）、Fig. 6(b) | CD_h 由 11.3 恶化至 122.1，源于单目深度歧义导致的空间错位；位姿改善同时带动 CD 与 F10 提升（Sec. 4.2） |\n| 方法在 in-the-wild（移动第一/第三人称、多样光照背景）下鲁棒 | Fig. 1、Fig. 4（右）、Fig. 5 | 定性证据：法线渲染显示静态与 egocentric 移动视角下均可可靠重建（Sec. 4.1 末段；自采 HOLD 数据集，Sec. 4） |\n| 组合式隐式模型可实现手/物/背景解耦 | Fig. 3、Sec. 3.2.1 渲染公式 | 前景掩码 M_F(r)、amodal mask M_h/M_o 与三类分割概率 S(r) 均由体渲染积分导出，无需额外分割头训练 |\n\n### 5. 数据可信度与阅读提示\n\n- **评测协议注意**：HO3D 评测使用作者自定义协议（每物体 2 条训练集序列、排除 banana 与 scissors，Sec. 4）；被排除两物体的结果仅以随机姿态形式报告于 SupMat，正文不可见，横向对比时需谨慎。\n- **Table 3 对比基础**：因 Hampali et al. [^21] 未公开代码，对比基于其公开的物体点云与本文规范形状，属规范形状层面的比较。\n- **in-the-wild 证据为定性**：Fig. 1、Fig. 4（右）、Fig. 5 均为定性展示，自采 HOLD 数据集无公开量化指标。\n- **消融范围有限**：Table 4 与 Fig. 6 仅在 HO3D 子集上进行，in-the-wild 场景的消融缺失。\n- **训练成本**：预训练 100 epochs 约 10 小时（A100），最终训练 200 epochs，单序列优化范式，扩展到大规模应用需考虑更快表示（Sec. 5 Limitations）。" }