{
  "paper_id": "fc312182743496e01400dd5ef1256ac4",
  "paper_title": "Bringing Inputs to Shared Domains for 3D Interacting Hands Recovery in the Wild",
  "paper_authors": [
    "Gyeongsik Moon"
  ],
  "publication_date": "",
  "publication_venue": "2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)",
  "abstract": "Despite recent achievements, existing 3D interacting hands recovery methods have shown results mainly on motion capture (MoCap) environments, not on in-the-wild (ITW) ones. This is because collecting 3D interacting hands data in the wild is extremely challenging, even for the 2D data. We present InterWild, which brings MoCap and ITW samples to shared domains for robust 3D interacting hands recovery in the wild with a limited amount of ITW 2D/3D interacting hands data. 3D interacting hands recovery consists of two sub-problems: 1) 3D recovery of each hand and 2) 3D relative translation recovery between two hands. For the first sub-problem, we bring MoCap and ITW samples to a shared 2D scale space. Although ITW datasets provide a limited amount of 2D/3D interacting hands, they contain large-scale 2D single hand data. Motivated by this, we use a single hand image as an input for the first sub-problem regardless of whether two hands are interacting. Hence, interacting hands of MoCap datasets are brought to the 2D scale space of single hands of ITW datasets. For the second sub-problem, we bring MoCap and ITW samples to a shared appearance-invariant space. Unlike the first sub-problem, 2D labels of ITW datasets are not helpful for the second sub-problem due to the 3D translation's ambiguity. Hence, instead of relying on ITW samples, we amplify the generalizability of MoCap samples by taking only a geometric feature without an image as an input for the second sub-problem. As the geometric feature is invariant to appearances, MoCap and ITW samples do not suffer from a huge appearance gap between the two datasets. The code is publicly available.",
  "keywords": [
    "3D interacting hands recovery",
    "in-the-wild",
    "domain gap",
    "hand mesh recovery",
    "MANO",
    "2.5D pose",
    "geometric features",
    "mixed-batch training"
  ],
  "paper_institutions": [
    "Meta Reality Labs"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:34:01.307487Z",
  "template_tag": "deep_read",
  "summary": "# Bringing Inputs to Shared Domains for 3D Interacting Hands Recovery in the Wild\n\n\n**作者 / Authors:** Gyeongsik Moon\n\n\n**单位 / Institutions:** Meta Reality Labs\n\n\n\n**输出语言 / Output Language:** zh\n\n\n\n\n\n\n## 模块 A：阅读对齐与输入校验 / Module A: Reading Alignment and Input Check\n\n## Module A：阅读对齐与输入校验\n\n### 1. 论文元数据\n\n- **标题**：Bringing Inputs to Shared Domains for 3D Interacting Hands Recovery in the Wild（面向野外场景 3D 交互双手恢复的输入共享域方法）\n- **作者**：Gyeongsik Moon，单位：Meta Reality Labs；邮箱 <mailto:mks0601@gmail.com>。作者背景：亦是 InterHand2.6M 数据集与 InterNet 基线的作者（参考文献 [^18][^20]），长期从事 3D 手部/人体网格重建研究。\n- **发表渠道**：文档内未明确标注会议与年份；从版式（CVPR 双栏风格）与引用文献最新为 2022 年推断，大概率为 CVPR 2023 论文，需以原文页眉/页脚确认。\n\n### 2. 研究定位\n\n- **研究领域**：计算机视觉——单目 RGB 3D 手部姿态与网格重建（3D interacting hands recovery）。\n- **具体任务**：从单张图像恢复单人交互的左右手 3D 网格，拆分为两个子问题：1) 每只手各自的 3D 网格估计；2) 两手间 3D 相对平移估计（Abstract、第 1 节）。提出 InterWild 框架，将 MoCap 与 ITW（in-the-wild）样本带入共享域：SHNet 用单手裁剪图统一 2D 尺度空间，TransNet 仅用几何特征（2.5D 热图）构建外观不变空间（第 3 节，Fig. 2、Fig. 3）。\n- **目标用户/应用场景**：需要在野外真实图像上稳健运行的 3D 手部重建，如 AR/VR 手部交互（作者隶属 Meta Reality Labs）、与全身人体网格估计方法的集成（第 5 节结论）。\n\n### 3. 输入材料清单\n\n- **PDF**：有（正文含摘要、第 1–5 节、参考文献）。\n- **附录/补充材料**：无。正文多处引用 supplementary material（DetectNet/SHNet 架构细节见第 3 节；2D 弱监督实现与复现验证见 4.3/4.4 节），当前输入缺失。\n- **代码链接**：摘要称代码已公开（脚注 1），但文档未给出具体 URL。\n- **数据集链接**：无。涉及数据集：IH2.6M [^20]、MSCOCO whole-body 版本 [^9][^15]、HIC [^29]。\n\n### 4. 缺失材料与风险\n\n- **缺失项**：补充材料、代码具体链接、数据集链接、明确的发表渠道与年份。\n- **可能影响**：\n  - 无法核对 DetectNet/SHNet 详细架构（正文仅说明沿用 Pose2Pose [^17]），影响第三遍精读与复现深度。\n  - 2D 弱监督的具体实现只在补充材料中，影响对 Table 3 弱监督消融的完整理解。\n  - 代码与数据集链接缺失暂不阻碍理解，但影响可复现性验证。\n\n### 5. 阅读路线（3–6 步）\n\n- **Step 1（第一遍）**：读标题、摘要、Fig. 1–4 与结论，抓住核心思想：以单手图像输入统一 2D 尺度空间、以几何特征输入构建外观不变空间，从而弥合 MoCap 与 ITW 域差。\n- **Step 2（第一遍）**：浏览第 3 节流水线（Fig. 4–6）与第 4 节全部表格（Table 1–6），掌握 DetectNet→SHNet→TransNet 结构与主要实验结论。\n- **Step 3（第二遍）**：精读 3.1 SHNet（单手裁剪、左手水平翻转、2.5D pose 输出）与 3.2 TransNet（2.5D 高斯热图、手腕特征插值提取），对照 Fig. 5 的 2D 尺度分布论证。\n- **Step 4（第二遍）**：细读 4.3 消融（Table 1–4：单手输入、翻转策略、几何输入、手腕特征）与 4.4 SOTA 对比（Table 5–6、Fig. 8–9），梳理每个设计选择的证据链。\n- **Step 5（第三遍）**：重建方法假设与失效模式（如 2D 弱监督对 3D 相对平移的负面影响、严重遮挡下翻转策略的作用），并审视对比公平性（4.4 节：前人方法推理用 GT hand boxes，本文用 DetectNet 预测框；前人网络由作者基于其测试代码重训）。\n\n### 分类依据（paper_archetype = method）\n\n- 核心贡献是新的方法/框架 InterWild：SHNet 单手输入归一化 2D 尺度 + TransNet 仅用几何特征估计 3D 相对平移（摘要、第 1 节贡献列表）。\n- 以消融实验与 SOTA 对比验证算法有效性（第 4 节），非综述、非系统/硬件平台论文，故选 method。\n\n\n## 模块 B：第一遍鸟瞰扫描（类别/上下文/正确性/贡献/清晰度） / Module B: First Pass Overview (category, context, correctness, contribution, clarity)\n\n## Module B：第一遍通读概览\n\n### 1. 论文类型与类别\n\n- **类型**：方法论文（method，与 Module A 分类一致）。核心贡献是新框架 InterWild，而非综述、数据集或系统平台论文。\n- **子领域**：计算机视觉——单目 RGB 图像的 3D 交互双手网格恢复（3D interacting hands recovery），重点解决野外（in-the-wild, ITW）场景的泛化问题。\n- **方法范式**：基于 MANO 手模型的回归式网格估计 + 域对齐/域共享（domain sharing）输入设计；流水线为 DetectNet → SHNet → TransNet 三网络级联（第 3 节，Fig. 4）。\n\n### 2. 研究背景与上下文\n\n- **现状**：自 IH2.6M [^20] 发布以来，涌现多个 3D 交互手恢复方法（InterNet [^20]、IHMR [^25]、Zhang et al. [^32]、IntagHand [^14]、Keypoint Transformer [^6]、Di et al. [^4]），但它们主要在 MoCap 环境验证；直接测试 ITW 图像会因外观差距（IH2.6M 黑背景、人工光照）而结果不稳定（第 1 节）。\n- **数据困境**：采集 ITW 3D 交互手数据需数十台标定同步相机，人工成本极高；连大规模 ITW 2D 交互手标注也因严重遮挡与自相似而困难，因此不存在大规模 ITW 2D/3D 交互手数据集（第 1 节，Fig. 1(a)）。\n- **可用资源**：ITW 数据集（如 MSCOCO）虽缺交互手数据，却有大规模 2D 单手数据（Fig. 1(a)）；主流利用方式是 mixed-batch training + 基于 MANO 可微投影的 2D 弱监督（第 1 节）。\n- **直接套用的两个失败点**：\n  1) 子问题一（单手 3D 网格估计）：交互时双手图中每只手的 2D 尺度远小于单手裁剪图，尺度分布差异巨大（Fig. 5），mixed-batch 中 ITW 单手样本帮助有限；\n  2) 子问题二（双手 3D 相对平移估计）：2D 弱监督依赖估计的 3D 全局平移，估计错误时相对平移被错误监督（Fig. 1(b)）；且相对平移的 3D 尺度缺乏 MANO 形状参数那样的强约束（成人手约 15 cm），可取任意值，IntagHand 的弱监督实测反而使结果变差（第 1 节、Table 3）。\n\n### 3. 直觉正确性检查（关键假设及合理性）\n\n- **假设 1：单手裁剪输入可统一 2D 尺度空间**。合理。Fig. 5 统计显示：裁剪单手后 IH2.6M 交互手的尺度分布（Brown）与 MSCOCO 单手（Green）几乎重合，而双手图（Yellow）分布明显偏移；Table 1 消融佐证——HIC 上 MPVPE 从 29.80/35.86（双手图输入）降至 15.65/15.70（单手图输入）。\n- **假设 2：左手水平翻转归一化为右手可减轻学习负担并隐式去遮挡**。合理。严重交叠时左右手框内图像几乎相同，不翻转则网络对两图输出几乎相同的两只手；翻转后网络只需学“忽略左手、恢复右手”（3.1 节，Fig. 7）。Table 2：HIC 交互序列 MPVPE 从 16.96（不翻转/分离权重）降至 15.70（翻转/共享权重）。\n- **假设 3：仅用几何特征（2.5D 热图）估计相对平移可消除外观差距**。合理。几何特征对颜色、光照等外观不变，Table 3 显示 2.5D 热图输入在 HIC 上 MRRPE 为 31.35，远优于图像输入的 206.83（无弱监督）/215.35（有弱监督）。\n- **假设 4：2D 弱监督对相对平移有害**。合理。Table 3 中所有输入类型加入弱监督后 MRRPE 均变差（如 2.5D 热图：31.35→61.05），与 Fig. 1(b) 的错误传播机制（错误全局平移→错误相对平移监督）一致。\n- **待深究的疑点（留待第二/三遍）**：几何输入丢弃外观信息，严重遮挡或左右手区分是否受限；TransNet 依赖 SHNet 的 2.5D 姿态精度，误差如何级联传播；手腕特征插值对姿态噪声的敏感性。\n\n### 4. 核心贡献\n\n1) 提出 InterWild 框架，面向野外 3D 交互双手网格恢复，系统缓解 MoCap 与 ITW 数据集间的域差（摘要、第 1 节）。\n2) 子问题一：无论双手是否交互，SHNet 均以单手裁剪图为输入，把 MoCap 交互手与 ITW 单手带入共享 2D 尺度空间（Fig. 2(b)、3.1 节）。\n3) 子问题二：TransNet 仅以几何特征（2.5D 高斯热图）为输入构建外观不变空间，且相对平移只在 MoCap 样本上全监督，规避 ITW 2D 弱监督的负面影响（Fig. 3(b)、3.2 节）。\n4) 工程设计：左手水平翻转归一化 + 基于双线性插值的手腕特征提取（替代主流 GAP），均有消融支撑（Table 2、Table 4）。\n5) 实验验证：在 HIC 与 IH2.6M 上全面超越现有 SOTA，HIC 提升尤为显著（Table 5：MPVPE 15.65/15.70 vs IntagHand 18.83/27.31；MRRPE 31.35 vs 52.46），代码与训练模型已公开（摘要脚注 1）。\n\n### 5. 清晰度评估\n\n- **结构**：摘要→引言（动机+两子问题分析）→相关工作→方法（3.1 SHNet / 3.2 TransNet / 3.3 输出与损失）→实验（4.1 数据集 / 4.2 指标 / 4.3 消融 / 4.4 SOTA 对比）→结论，线性清晰，动机—设计—验证链条完整。\n- **图表**：Fig. 2/3 以 mini-batch 对比直观呈现与前人输入设计的差异；Fig. 4/6 流水线图完整；Fig. 5 的尺度分布统计是假设 1 的关键论据；Table 1–4 逐一消融各设计选择，Table 5/6 与 Fig. 8/9 给出定量与定性 SOTA 对比。\n- **公式**：极少，仅符号定义（$M_l, M_r, P_l, P_r, H, t$），方法以文字+图示描述，可读性高；对熟悉 Pose2Pose [^17] 与 MANO [^23] 的读者友好。\n- **不足**：DetectNet/SHNet 架构细节与 2D 弱监督实现均指向补充材料，正文不能自足；对比设置存在需审视之处（前人方法推理用 GT 手框而本文用 DetectNet 预测框；前人网络由作者基于其测试代码重训，4.4 节）。\n\n### 6. 继续或停止建议\n\n- **建议：继续精读（进入第二遍、第三遍）**。\n- **理由**：\n  1) “把输入带入共享域”的思路新颖且具通用性，每个设计选择都有消融证据支撑，方法论价值高；\n  2) 在训练未见的 HIC 上大幅领先，对研究 MoCap→ITW 泛化问题有直接参考意义；\n  3) 代码与训练模型公开，可复现验证可行；\n  4) 存在值得第三遍审查的点：对比公平性（GT 框 vs 预测框、作者重训前人网络）、几何输入的信息损失边界、对 DetectNet 检测误差的级联敏感性、2D 弱监督负面结论的适用范围。\n\n### 7. 结构大纲图\n\nmarkmap\n\n# InterWild：野外 3D 交互双手恢复\n\n## 引言\n\n### 问题：MoCap→ITW 域差\n\n### 数据采集困境\n\n### 两个子问题\n\n### mixed-batch + 2D 弱监督的局限\n\n## 相关工作\n\n### 3D 交互手恢复（拟合式→回归式）\n\n### 几何特征缩小外观差\n\n## 方法：InterWild\n\n### DetectNet：手部检测\n\n### SHNet：单手 3D 网格\n\n#### 单手裁剪输入（共享 2D 尺度空间）\n\n#### 左手水平翻转归一化\n\n#### 输出：3D 网格 + 2.5D 姿态\n\n### TransNet：3D 相对平移\n\n#### 2.5D 高斯热图输入（外观不变）\n\n#### 2D 仿射变换到双手框联合空间\n\n#### 手腕特征插值（替代 GAP）\n\n### 最终输出与损失（端到端，相对平移仅 MoCap 监督）\n\n## 实验\n\n### 数据集：IH2.6M + MSCOCO 训练；HIC 主测试\n\n### 指标：MPVPE / MPJPE / MRRPE\n\n### 消融\n\n#### 单手输入（Table 1）\n\n#### 翻转策略（Table 2）\n\n#### 几何输入与弱监督（Table 3）\n\n#### 手腕特征（Table 4）\n\n### SOTA 对比（Table 5/6，Fig. 8/9）\n\n## 结论与展望\n\n### 域共享有效\n\n### 未来：与全身人体网格估计集成\n\n\n## 模块 C1：论文试图解决什么问题？ / Module C1: What problem does the paper try to solve?\n\n## Module C1：论文要解决什么问题？\n\n### 1. 一句话问题定义\n\n论文旨在解决：在缺乏大规模野外（in-the-wild, ITW）3D 交互双手标注数据的条件下，如何通过将 MoCap 数据与 ITW 数据\"带入共享域\"（shared domains），从单张野外 RGB 图像稳健地恢复单人交互左右手的 3D 网格（3D interacting hands recovery in the wild）。（依据：Abstract、第 1 节）\n\n### 2. 痛点与现有不足\n\n- **MoCap 与 ITW 域差导致泛化失败**：现有 3D 交互双手恢复方法主要在 MoCap 环境（如 IH2.6M，黑色背景、人工光照）上验证，直接迁移到 ITW 图像时因巨大外观差距（appearance gap）而结果不稳定（第 1 节）。\n- **野外 2D/3D 交互双手数据极难采集**：3D 采集需数十台标定且同步的相机，野外部署人工成本极高；即使 2D 交互手标注也因严重遮挡与自相似性而困难，因此不存在大规模 ITW 2D/3D 交互手数据集（第 1 节、Fig. 1(a)）。\n- **混合批次训练对子问题 1 失效（2D 尺度分布不匹配）**：ITW 数据以单手样本为主（Fig. 1(a)），而先前方法在双手交互时输入双手图，导致 MoCap 双手图中每只手的 2D 尺度分布与 ITW 单手图差异巨大，加重网络学习负担（Fig. 2(a)、Fig. 5）。\n- **2D 弱监督对子问题 2（3D 相对平移）有害**：3D 相对平移的尺度缺乏强约束（不同于手的尺寸受 MANO shape 参数强约束，成人手约 15 cm），单目估计的 3D 全局平移常有误差，一旦出错会使相对平移被错误监督（Fig. 1(b)）；实验证实 IntagHand 式 2D 弱监督使所有输入设置下的 MRRPE 恶化（Table 3）。\n\n### 3. 形式化目标 / 优化目标\n\n- **任务分解**：给定单张图像，估计 1) 左右手各自的 3D 网格 $M_l$、$M_r$（根关节相对空间，经 MANO 层生成）；2) 两手间 3D 相对平移 $t \\in \\mathbb{R}^3$（右手腕到左手腕）。最终左手网格为 $M_l + t$（第 3.3 节）。\n- **训练目标**：端到端最小化预测与 GT 之间的 $L_1$ 距离，涵盖检测框、MANO 参数、3D 关节坐标与 3D 相对平移；其中 3D 相对平移仅由 MoCap 数据（IH2.6M）监督，ITW 样本不提供该 GT（第 3.3 节）。\n- **域共享设计目标（结构层面的隐式目标）**：\n  - 子问题 1：SHNet 以单手裁剪图为输入（左手水平翻转为右手），使 MoCap 交互手与 ITW 单手样本统一到共享 2D 尺度空间（Fig. 2(b)、第 3.1 节）；\n  - 子问题 2：TransNet 仅以几何特征（两手 2.5D 高斯热图 $\\mathbf{H} \\in \\mathbb{R}^{2J \\times 64 \\times 64 \\times 64}$，经 2D 仿射变换对齐到双手框联合空间）为输入，构建外观不变空间，使仅在 MoCap 上监督的相对平移可泛化到 ITW（Fig. 3(b)、第 3.2 节）。\n\n### 4. 成功标准（指标与期望性质）\n\n- **MPVPE**（每顶点位置误差，mm，根关节平移对齐）：衡量每只手 3D 网格质量（第 4.2 节）。\n- **MPJPE**（每关节位置误差，mm）：衡量每只手 3D 关节质量（第 4.2 节，Table 6）。\n- **MRRPE**（相对根位置误差，mm）：衡量两手间 3D 相对平移质量（第 4.2 节）。\n- **期望性质与达成证据**：\n  - 在 ITW 测试集（HIC，训练时未见其外观）上显著优于现有方法：InterWild HIC MPVPE 15.65/15.70、MRRPE 31.35，对比 IntagHand 18.83/27.31、52.46（Table 5、Fig. 8）；\n  - 在 MoCap 基准（IH2.6M）上保持相当或更优：MPVPE 11.12/13.01、MRRPE 29.29（Table 5）；\n  - 评估时不做 GT 尺度对齐，且使用 DetectNet 预测框（而非前人使用的 GT 框）仍取得上述结果（第 4.4 节），体现野外部署可行性；\n  - 定性上能在 MSCOCO 等 ITW 图像上成功恢复 3D 交互手网格，而先前 SOTA（IntagHand）失败（Fig. 9）。\n\n\n## 模块 C2：有哪些相关研究？（最强基线/最相近思路/正交方向） / Module C2: What related research exists? (strongest baseline, closest approach, orthogonal directions)\n\n## Module C2：相关工作梳理与论文定位\n\n### 1. 最强基线与对比轴\n\n### 最强基线：IntagHand（Li et al. [^14]，CVPR 2022）\n\n- **方法**：基于交互注意力/图卷积网络（graph convolutional network）的单图双手 3D 重建，额外利用分割与 DensePose 信息，并引入基于 2D GT 的弱监督辅助 3D 相对平移估计（第 2 节；第 4.3 节 Table 3）。\n- **核心思想**：显式建模两手间相关性，在 MoCap 数据（IH2.6M）上取得此前最佳精度。\n- **局限**：1) 交互时以双手图像为输入，其每只手的 2D 尺度分布与 ITW 大规模单手数据严重不一致（Fig. 5）；2) 2D 弱监督会因 3D 全局平移估计错误而污染 3D 相对平移监督（Fig. 1(b)；Table 3：HIC MRRPE 由 31.35 恶化至 61.05）；3) 推理依赖 GT hand boxes（第 4.4 节）。其在 HIC 上 MPVPE 18.83/27.31、MRRPE 52.46，明显落后于本文（Table 5）。\n\n### 其他主要对比方法（Method -> core idea -> limitation）\n\n- **IHMR（Rong et al. [^25]，3DV 2021）**：两阶段框架，通过碰撞感知的分解细化减少两手穿插。局限：仅在 MoCap 域训练，HIC 上 MPVPE 30.76/46.38、MRRPE 119.64，ITW 泛化最差（Table 5）。\n- **Zhang et al. [^32]（ICCV 2021）**：级联式 3D 交互手网格估计网络，逐步细化结果。局限：同样以双手图像为输入、依赖 MoCap 数据，HIC MRRPE 110.25（Table 5）。\n- **Keypoint Transformer（Hampali et al. [^6]，CVPR 2022）**：Transformer 分离手部关键点的定位与识别。局限：相机参数损失需要 3D GT，无法与 MSCOCO 等 2D 数据混合训练，故未纳入 Table 5 对比（第 4.4 节）。\n- **AIH（Meng et al. [^16]，ECCV 2022）**：通过手部去遮挡与移除做 3D 关节估计，并借助额外合成数据提升外观鲁棒性。局限：合成数据仍构建于 IH2.6M 之上，外观域差未根除；HIC MPJPE 76.83/36.05 远差于本文的 16.00/16.17（Table 6）。\n- **早期拟合式方法（Ballan [^1]、Oikonomidis [^22]、Taylor [^28]、Mueller [^21]、Tzionas [^29]、Wang [^31]）**：将 3D 手模型拟合到 RGBD 序列、分割图或稠密匹配图等几何证据。局限：依赖优化拟合，精度与速度均逊于后续回归式方法（第 2 节）。\n\n**对比轴**：MPVPE/MPJPE（root 对齐后的单手网格/关节精度）+ MRRPE（两手 3D 相对平移精度），在 HIC（训练未见的多样外观，考察 ITW 泛化）与 IH2.6M（MoCap 域内精度）双基准上评估（第 4.1–4.2 节）。公平性设置：前人公开模型仅用 IH2.6M 训练且训练代码不可得，作者基于其测试代码在 IH2.6M+MSCOCO 上重训；前人推理用 GT 框，本文用 DetectNet 预测框（第 4.4 节）。\n\n### 2. 最接近的方法与关键差异\n\n- **IntagHand [^14]（最接近的 SOTA）**：关键差异有三——1) 输入域：IntagHand 交互时取双手图像，InterWild 无论是否交互均取单手裁剪图，把 MoCap 交互手与 ITW 单手样本带入共享 2D 尺度空间（Fig. 2、Table 1）；2) 相对平移：IntagHand 用图像输入并施加 2D 弱监督，InterWild 仅用几何特征（2.5D 高斯热图）且不做 2D 弱监督，构建外观不变空间（Fig. 3、Table 3）；3) 推理设置：IntagHand 用 GT 框，InterWild 用 DetectNet 预测框（第 4.4 节）。\n- **InterNet（Moon et al. [^20]）**：作者自身的回归基线，与本文同源（DetectNet/SHNet 沿用 Pose2Pose [^17] 架构，第 3 节）。差异在于 InterWild 的域共享输入设计与手腕特征提取（Table 4：手腕特征 31.35 优于 GAP 的 39.85）。\n- **Pose2Mesh [^2]、Zhou et al. [^34]、Zhang et al. [^33]**：同样以几何特征（2D 关节坐标、3D 关节坐标、body part UVI 图）缩小 MoCap–ITW 外观域差，但面向人体或单手网格。InterWild 是首个用纯几何特征估计双手 3D 相对平移的工作（第 2 节）。\n\n### 3. 正交方向\n\n- **手-物体交互**：Kwon et al. [^13]（H2O）关注手与物体的交互重建，而非双手之间的交互（第 2 节）。\n- **仅关节、无网格**：Fan et al. [^5]、Kim et al. [^10]、Meng et al. [^16] 只恢复 3D 关节位置，不输出网格（第 2 节）。\n- **合成数据增广**：AIH [^16] 用合成数据提升外观鲁棒性，与本文的输入域共享思路正交（第 4.4 节）。\n- **混合批次训练（mixed-batch training）[^3][^11][^12][^17][^19][^24]**：3D 人体恢复中利用 ITW 2D 数据的主流范式；本文沿用该训练框架，但证明其对 3D 相对平移子问题有害，需按子问题区别对待（第 1 节、Table 3）。\n- **ITW 2D/3D 交互手数据采集**：作者指出利用大规模 2D 单手数据与在野外采集交互手数据是正交的研究方向（第 1 节）。\n- **与全身人体网格估计集成**：结论中提出的未来研究方向（第 5 节）。\n\n### 4. 一句话定位\n\nInterWild 是首个专门面向野外（ITW）场景的 3D 交互双手恢复框架：通过\"单手裁剪图输入\"统一 2D 尺度空间、\"纯几何特征（2.5D 热图）输入\"构建外观不变空间，在不依赖大规模 ITW 3D 交互手数据的条件下弥合 MoCap–ITW 域差，并在 HIC 上大幅超越此前 SOTA（如 IntagHand：MRRPE 52.46 → 31.35，Table 5）。\n\n\n## 模块 C3：论文如何解决这个问题？（流程图文字版） / Module C3: How does the paper solve the problem? (include a text flowchart)\n\n## Module C3：论文如何解决问题（方法机制）\n\n### 1. 核心机制概述（浅层理解）\n\n论文提出 InterWild 框架，核心思想是\"将输入带入共享域\"（bringing inputs to shared domains），针对 3D 交互双手恢复的两个子问题分别设计域共享策略（摘要、第 1 节）：\n\n- **子问题 1：每只手各自的 3D 网格估计 → 共享 2D 尺度空间**。SHNet 无论双手是否交互，一律以单手裁剪图像为输入（Fig. 2(b)）。这样 MoCap 数据集中的交互双手样本被归一化到与 ITW 数据集大规模单手数据相同的 2D 尺度分布。Fig. 5 给出分布证据：双手图中每只手的 2D 尺度（黄色）与单手图（绿色）差异巨大，而裁剪单手后（棕色）两者分布几乎重合。\n- **子问题 2：两手间 3D 相对平移估计 → 共享外观不变空间**。TransNet 仅以几何特征（2.5D 高斯热图）为输入、不使用图像（Fig. 3(b)）。几何特征对颜色、光照等外观不变，从而消除 MoCap（黑色背景、人工光照）与 ITW 图像间的巨大外观差异（第 1 节、第 3.2 节）。\n- **监督策略**：3D 相对平移仅在 MoCap 样本上全监督；ITW 的 2D 弱监督被刻意排除，因为 3D 全局平移估计错误会通过弱监督传播到相对平移，且相对平移的 3D 尺度缺乏像 MANO 形状参数那样的强约束（Fig. 1(b)、第 1 节、Table 3）。\n\n### 2. 分步拆解（中层理解）\n\n整体流水线由 DetectNet → SHNet → TransNet 三个网络组成（Fig. 4）：\n\n1. **手部检测（DetectNet）**：从输入图像检测左右手框；DetectNet 与 SHNet 均沿用 Pose2Pose [^17] 架构，细节在补充材料（第 3 节）。\n2. **裁剪与预处理**：从高分辨率人体图像中按预测框裁剪手部区域并缩放；裁剪前将框的宽高加倍，防止手部缺失并提供周边上下文（第 3.1 节）。\n3. **左手翻转**：左手图像水平翻转为右手图像，使输入始终表示右手；右手图与翻转左手图在 batch 维拼接、由 SHNet 并行处理。SHNet 只学习处理右手图像（忽略输入中的左手），从而：a) 减轻同时学习左右手的负担；b) 在双手严重重叠时实现\"隐式去遮挡\"——翻转后原图中的右手变为左手而被忽略，输出的是被遮挡那只手的网格（第 3.1 节、Fig. 7、Table 2）。\n4. **SHNet 输出**：每只手的 3D 网格（经 MANO [^23] 层，减去根关节得到根相对空间）与 2.5D 姿态；翻转输入的输出再翻转回原方向（第 3.1 节）。\n5. **2D 仿射变换（TransNet 前处理）**：对 P_r、P_l 施加 2D 仿射变换，把 SHNet 输入空间（单手图像）映射到双手框联合空间（双手图像），从而编码两手间的相对 2D 尺度与平移；变换不改变各 2.5D 姿态的深度分量（第 3.2 节）。\n6. **热图化与特征提取**：变换后的 P_r'、P_l' 转为 2.5D 高斯热图并在通道维拼接为 H ∈ R^{2J×D×H×W}（D=H=W=64）；H 经裁剪版 ResNet-18 得到特征图 F ∈ R^{C×H/8×W/8}（C=512）（第 3.2 节）。\n7. **手腕特征提取**：由于 3D 相对平移本质是左手腕相对右手腕的 3D 位置，在 F 中按 P_r'、P_l' 给出的 2D 手腕位置做双线性插值提取手腕特征，与 2D 手腕坐标拼接后经线性层回归 t ∈ R^3；相比前人广泛使用的全局平均池化（GAP），显式手腕特征更有效（第 3.2 节、Table 4）。\n8. **最终输出与训练**：最终 3D 交互双手 = 右手网格 M_r 与（左手网格 M_l + t）；端到端最小化预测与 GT 框、MANO 参数、3D 关节坐标、3D 相对平移之间的 L1 距离；其中 3D 相对平移仅由 MoCap 数据集监督（第 3.3 节）。\n\n### 3. 关键公式与模块角色（深层理解）\n\n- **2.5D 姿态表示**：P_l, P_r ∈ R^{J×3}，J 为单手关节数；x/y 轴为 SHNet 输入图像（单手图）中的像素坐标，z 轴为根关节相对深度（第 3.1 节）。2.5D 表示既保留像素级 2D 位置又携带深度信息，是连接图像域与几何域的桥梁。\n- **2D 仿射变换**：P_r' = A_r(P_r)、P_l' = A_l(P_l)，将单手图像空间变换到双手框联合空间。作用：为 TransNet 提供两手间的相对 2D 尺度与平移线索——例如两手 2.5D 姿态的 xy 距离小则相对平移的 (x,y) 接近零；同时深度不受影响，仍为各自根关节相对深度（第 3.2 节）。\n- **2.5D 高斯热图**：H ∈ R^{2J×D×H×W}，D=H=W=64。将坐标转为热图是为了利用 ResNet [^8] 对张量输入的强特征提取能力（ResNet 不接受向量输入）（第 3.2 节）。\n- **特征图与手腕特征**：F ∈ R^{C×H/8×W/8}，C=512；使用去掉第一个卷积块（减少下采样）与最后全连接层的原始 ResNet-18。手腕特征 = 在 F 的 2D 手腕位置双线性插值；消融显示手腕特征（HIC MRRPE 31.35）优于 GAP（39.85）与全关节特征（48.99）（第 3.2 节、Table 4）。\n- **最终输出**：{M_r, M_l + t}，t ∈ R^3 表示左手腕相对右手腕的 3D 位置（第 3.2、3.3 节）。\n- **损失函数**：L1 距离，监督对象包括预测框、MANO 参数、3D 关节坐标、3D 相对平移；相对平移仅 MoCap 监督（第 3.3 节）。\n\n### 4. 设计选择的证据链（深层分析）\n\n- **单手输入的必要性**：Fig. 5 显示双手图中每只手的 2D 尺度分布与单手图差异巨大；Table 1 显示交互序列上单手输入显著降低 MPVPE（HIC：15.65/15.70 vs 29.80/35.86），且在 HIC 上优势远大于 IH2.6M，说明该设计对野外场景尤其有效（原因是 IH2.6M 大规模交互数据可缓解分布负担，而 ITW 缺乏此类数据，第 4.3 节）。\n- **翻转的必要性**：Table 2 显示\"翻转 + 共享权重\"在交互序列上最优（HIC 15.70 vs 不翻转共享权重 17.36）；Fig. 7 直观展示严重重叠时翻转带来的隐式去遮挡效果；相比\"双输出头\"变体，翻转还额外归一化了输入图像的手性（第 4.3 节）。\n- **几何输入的必要性**：Table 3 显示图像输入在 IH2.6M 上表现好但在 HIC 上 MRRPE 高达 206.83（无弱监督），归因于外观域差；2.5D 热图输入在 HIC 上仅 31.35，验证外观不变性带来的泛化能力；2.5D 热图优于 2D 热图（38.64）归功于额外深度信息（第 4.3 节）。\n- **2D 弱监督的负面影响**：Table 3 显示所有输入类型加入 2D 弱监督后 MRRPE 均恶化（如 2.5D 热图：31.35 → 61.05），原因是 3D 全局平移估计错误会传播到相对平移，且相对平移的 3D 尺度缺乏强约束（Fig. 1(b)、第 4.3 节）。\n- **手腕特征的必要性**：Table 4 显示 GAP 平均整个空间域，不保证保留手腕信息；全关节特征引入过多冗余信息反而最差（48.99）（第 4.3 节）。\n\n### 5. 流程图\n\nmermaid\nflowchart TD\n  A[\"输入图像\"] --> B[\"DetectNet：检测左右手框\"]\n  B --> C[\"裁剪与缩放（框宽高加倍）\"]\n  C --> D1[\"右手图像\"]\n  C --> D2[\"左手图像 → 水平翻转\"]\n  D1 --> E[\"SHNet（batch 维并行处理）\"]\n  D2 --> E\n  E --> F1[\"右手：3D 网格 M_r + 2.5D 姿态 P_r\"]\n  E --> F2[\"左手：3D 网格 M_l + 2.5D 姿态 P_l（输出翻转回原）\"]\n  F1 --> G[\"TransNet：2D 仿射变换至双手框联合空间 → P_r', P_l'\"]\n  F2 --> G\n  G --> H[\"2.5D 高斯热图 H（通道拼接，64×64×64）\"]\n  H --> I[\"ResNet-18 → 特征图 F\"]\n  I --> J[\"手腕位置双线性插值 + 2D 手腕坐标 → 线性层\"]\n  J --> K[\"3D 相对平移 t（仅 MoCap 监督）\"]\n  F1 --> L[\"最终输出：M_r 与 M_l + t\"]\n  F2 --> L\n  K --> L\n``n\n**小结**：InterWild 的解题逻辑是\"按子问题分治域差\"——对受 2D 标签助益的单手网格估计，用单手裁剪输入统一 2D 尺度空间，从而充分利用 ITW 大规模 2D 单手数据；对受 2D 弱监督损害的相对平移估计，改用外观不变的几何特征（2.5D 热图）并仅依赖 MoCap 3D 监督，以几何域共享替代外观域对齐。两个设计共同将 MoCap 与 ITW 样本带入共享域，实现野外场景的稳健 3D 交互双手恢复（摘要、第 1、5 节）。\n\n\n## 模块 C4：实验数据集与实现设置（数据集/场景、为何选择、验证哪些关键特性） / Module C4: Datasets and implementation settings (what datasets/scenarios, why chosen, what they validate)\n\n## Module C4：数据集、基准与实现/评测设置\n\n### 1. 数据集与基准清单（浅层理解）\n\n| 数据集 | 角色 | 规模/类型 | 场景特点 |\n|---|---|---|---|\n| IH2.6M（InterHand2.6M）[^20] | 训练 + 测试 | 大规模 MoCap 数据集，含精确 3D 交互手姿态与网格 GT | 黑色背景、人工光照，与 ITW 外观差距大（第 1 节） |\n| MSCOCO whole-body 版本 [^9][^15] | 训练（2D 弱监督）+ 定性评测 | 大规模 ITW 数据集；2D 单手数据量大，2D 交互手极少（即使 IoU>0.1 的宽松阈值下仍很少，Fig. 1a） | 野外多样外观（第 4.1 节、Fig. 9） |\n| HIC（Hands In Action）[^29] | 主测试集 | 单手与交互手序列，RGBD 相机采集；提供拟合到 3D 点云的 3D GT 网格 [^7] | 室内环境，但外观远比 IH2.6M 多样、真实（第 4.1 节） |\n\n补充：IH2.6M 同时作为 MoCap 侧代表性基准用于定量对比；MSCOCO 验证集用于定性结果展示（Fig. 9）。\n\n### 2. 预处理与划分/覆盖设置（中层分析）\n\n- **训练/测试划分**：训练仅用 IH2.6M + MSCOCO；HIC 完全不参与训练（第 4.1 节），因此 HIC 上的性能直接反映对未见外观的泛化能力。\n- **Mixed-batch 训练**：mini-batch 一半为 IH2.6M 样本、一半为 MSCOCO 样本（第 4.1 节）；MoCap 样本用 3D GT 全监督，ITW 样本用 2D GT 弱监督（第 1 节）。\n- **监督范围的关键限制**：3D relative translation 仅由 MoCap（IH2.6M）监督，ITW 样本不参与该输出的监督（第 3.3 节），以避免 2D 弱监督因 3D 全局平移估计歧义而污染相对平移（Fig. 1b、第 4.3 节分析）。\n- **输入预处理（SHNet）**：DetectNet 输出手框 → 从高分辨率人体图像中裁剪并 resize 手部区域；裁剪前将框的宽高加倍以防漏手并提供周围上下文（第 3.1 节）；左手图像水平翻转为右手，输入统一为右手图像，右手与翻转后的左手图像在 batch 维拼接并行处理（第 3.1 节）。\n- **输入预处理（TransNet）**：对 SHNet 输出的 2.5D pose（P_r、P_l）施加 2D 仿射变换，从单手图像空间变换到双手框并集空间（保留两手相对 2D 尺度与平移，不改变各手根相对深度）；再转换为 2.5D Gaussian heatmap，D=H=W=64（第 3.2 节）。\n- **损失与训练方式**：端到端训练，最小化预测与 GT 框、MANO 参数、3D 关节坐标、3D relative translation 之间的 L1 距离（第 3.3 节）。\n\n### 3. 训练/推理/评测环境（中层分析）\n\n- **网络实现**：DetectNet 与 SHNet 沿用 Pose2Pose [^17] 架构（细节在补充材料，当前输入缺失）；TransNet 骨干为 ResNet-18 [^8]（去掉第一个卷积块以减少下采样、去掉最后全连接层），特征图维度 C=512、H/8×W/8；在左右手腕 2D 位置对特征图做双线性插值提取 wrist features，与 2D 手腕坐标拼接后经线性层回归 3D relative translation t（第 3.2 节）。\n- **评测指标**（第 4.2 节）：\n  - MPJPE / MPVPE：根关节平移对齐后的 3D 关节/网格顶点平均距离（mm），衡量每只手 3D 网格精度；\n  - MRRPE：预测与 GT 的右手根到左手根 3D 距离（mm），衡量两手间 3D 相对平移精度。\n- **评测协议**：不做尺度对齐（following Moon et al. [^20]，第 4.4 节）。\n- **公平比较设置**（第 4.4 节）：前人方法（IHMR [^25]、Zhang et al. [^32]、IntagHand [^14]）公开模型仅在 IH2.6M 上训练且训练代码不可得，作者基于其测试代码复现网络并在 IH2.6M+MSCOCO 上重训（复现验证在补充材料）；前人推理使用 GT hand boxes，InterWild 使用 DetectNet 预测框。\n- **兼容性说明**：Keypoint Transformer [^6] 因相机参数损失函数需要 3D GT，无法纳入 MSCOCO 训练（第 4.4 节）。\n\n### 4. 选择理由与验证目标（深层分析）\n\n- **HIC 为主测试集的理由**：训练完全未见 + 外观多样真实 → 直接检验“野外泛化”，是论文核心主张（ITW 鲁棒性）的试金石（第 4.1 节）。Table 5 中 InterWild 在 HIC 上 MPVPE 15.65/15.70、MRRPE 31.35，领先幅度远大于在 IH2.6M 上的领先幅度，验证共享域设计的主要收益体现在 ITW 场景。\n- **IH2.6M 测试的理由**：作为 MoCap 代表基准，验证新设计不损失域内精度（Table 5：MPVPE 11.12/13.01、MRRPE 29.29）。\n- **MSCOCO 定性评测的理由**：最广泛使用的 ITW 数据集、外观多样（Fig. 9），可视化验证真实 ITW 图像上的鲁棒性。\n- **Mixed-batch + 共享 2D 尺度空间**：使 MSCOCO 大规模 2D 单手数据能真正帮助交互手子问题（Fig. 5 的 2D 尺度分布论证；Table 1：交互手场景下 SHNet 由双手图输入改为单手图输入，HIC 上 MPVPE 从 29.80/35.86 降至 15.65/15.70）。\n- **几何特征输入**：外观不变性使仅在 IH2.6M 上监督的 TransNet 泛化到 ITW（Table 3：2.5D heatmap 无弱监督在 HIC 上 MRRPE 31.35，而图像输入为 206.83）；同时验证 2D 弱监督对 3D 相对平移有害（Table 3 中所有输入类型加弱监督后 MRRPE 均变差）。\n- **局限与风险**：① DetectNet/SHNet 架构细节与 2D 弱监督实现均在补充材料，正文无法核对；② 前人用 GT box、本文用预测框的推理设置不完全对等（第 4.4 节已声明）；③ 复现结果的验证依赖补充材料，当前输入缺失。\n\n\n## 模块 C5：指标与结果（指标、结果、各指标对应的创新点） / Module C5: Metrics and results (metrics, results, which innovations each metric reflects)\n\n## Module C5：评价指标与实验结果\n\n### 1. 评价指标（定义见第 4.2 节）\n\n- **MPJPE**（Mean Per-Joint Position Error，平均每关节位置误差）：评估 3D 关节位置精度。在根关节平移对齐后，计算预测与 GT 关节的平均 3D 距离，单位 mm，用于衡量单只手的 3D 关节误差。\n- **MPVPE**（Mean Per-Vertex Position Error，平均每顶点位置误差）：评估 3D 网格顶点精度。在根关节平移对齐后，计算预测与 GT 网格顶点的平均 3D 距离，单位 mm，用于衡量单只手 3D 网格误差。\n- **MRRPE**（Mean Relative-Root Position Error，平均相对根位置误差）：评估两手间 3D 相对平移精度。计算预测与 GT 的\"右手根关节坐标系下左手根关节位置\"之间的 3D 距离，单位 mm。\n- **读数约定**：表格中 MPVPE/MPJPE 形如 \"a / b\"，a 为单手（non-interacting）序列误差，b 为交互（interacting）序列误差（Table 1、2、5、6 表注）。\n- **评测协议**：不与 GT 做尺度对齐（沿用 Moon et al. [^20] 的设置，第 4.4 节）。\n\n### 2. 主要结果（具体数字）\n\n- **测试集**（第 4.1 节）：HIC 为主测试集（训练中未见、外观多样，代表 ITW 泛化能力）；IH2.6M 作为 MoCap 代表数据集补充报告；MSCOCO 仅用于定性展示。\n- **Table 5（核心结果）**：InterWild 在 HIC 上 MPVPE 15.65 / 15.70 mm、MRRPE 31.35 mm；在 IH2.6M 上 MPVPE 11.12 / 13.01 mm、MRRPE 29.29 mm，全面优于所有对比方法。\n- **Table 6（HIC 上与 3D 交互手姿态估计方法对比）**：InterWild MPJPE 16.00 / 16.17 mm、MRRPE 31.35 mm，大幅优于 AIH [^16] 的 76.83 / 36.05 mm（AIH 未报告 MRRPE）。值得注意的是 AIH 依赖额外合成数据提升外观鲁棒性，而合成数据仍建立在 IH2.6M 之上，无法消除外观域差。\n- **Fig. 8（阈值敏感性）**：对 HIC 样本按阈值 τ 分桶（仅统计 x 轴值大于 τ 的样本）计算 MPVPE 与 MRRPE，InterWild 曲线在所有阈值下均低于 IHMR、Zhang et al.、IntagHand，说明优势不依赖特定样本子集。\n- **Fig. 9（定性结果）**：在 MSCOCO 验证集上，InterWild 从 ITW 图像成功恢复 3D 交互手网格，而先前 SOTA 方法 IntagHand [^14] 失败。\n\n### 3. 与基线/代表性先前工作的对比（Table 5，第 4.4 节）\n\n| 方法 | HIC MPVPE | HIC MRRPE | IH2.6M MPVPE | IH2.6M MRRPE |\n|---|---|---|---|---|\n| IHMR [^25] | 30.76 / 46.38 | 119.64 | 15.35 / 18.53 | 33.39 |\n| Zhang et al. [^32] | 23.53 / 31.79 | 110.25 | 11.76 / 14.17 | 31.56 |\n| IntagHand [^14] | 18.83 / 27.31 | 52.46 | 11.18 / 13.49 | 29.31 |\n| **InterWild (Ours)** | **15.65 / 15.70** | **31.35** | **11.12 / 13.01** | **29.29** |\n\n- **关键观察**：HIC（ITW）上的差距尤其大——MRRPE 相对 IntagHand 从 52.46 降至 31.35（约 40% 相对下降），交互序列 MPVPE 从 27.31 降至 15.70；而 IH2.6M（MoCap）上各方法差距很小。这一\"跨域误差放大\"模式直接支持域共享设计（Fig. 2、Fig. 3）带来的 ITW 稳健性主张。\n- **公平性说明与潜在偏向**（第 4.4 节）：\n  - 先前方法的公开模型仅在 IH2.6M 上训练且训练代码不可得，作者基于其测试代码重训于 IH2.6M+MSCOCO，并承诺在补充材料中验证复现结果。\n  - 所有先前方法推理时使用 GT 手框，而 InterWild 使用 DetectNet 预测框，该设置对本文更不利，强化了对比说服力。\n  - Keypoint Transformer [^6] 因相机参数损失需要 3D GT（MSCOCO 不具备）而无法纳入 MSCOCO 训练，故未列入 Table 5。\n\n### 4. 消融实验与敏感性分析（第 4.3 节）\n\n### (a) SHNet 输入选择（Table 1，MPVPE）\n\n- 双手图输入（先前做法）：HIC 29.80 / 35.86，IH2.6M 11.36 / 13.20\n- 单手图输入（Ours）：HIC 15.65 / 15.70，IH2.6M 11.12 / 13.01\n- 结论：交互时改用单手裁剪图，使 HIC 交互序列 MPVPE 从 35.86 降至 15.70（>50% 相对下降），验证共享 2D 尺度空间在 ITW 上尤为有效；IH2.6M 上差距小是因为大规模交互数据可缓解分布负担（作者通过减少 IH2.6M 交互样本复现了 HIC 的趋势，支持该解释）。\n\n## (b) 左手翻转策略（Table 2，MPVPE）\n\n- 不翻转/共享权重：HIC 15.80 / 17.36，IH2.6M 12.54 / 18.21\n- 不翻转/分离权重：HIC 15.34 / 16.96，IH2.6M 11.48 / 13.77\n- 翻转/共享权重（Ours）：HIC 15.65 / 15.70，IH2.6M 11.12 / 13.01\n- 结论：翻转对严重重叠的交互手至关重要（Fig. 7 展示隐式去遮挡效果）；\"翻转+分离权重\"组合不可行，因翻转已将输入手性归一化为右手。\n\n## (c) TransNet 输入与 2D 弱监督（Table 3，MRRPE）\n\n- 图像输入：无弱监督 HIC 206.83 / IH2.6M 27.67；加弱监督 HIC 215.35 / IH2.6M 35.72\n- 图像+2.5D 热图：HIC 54.36 → 58.53（加弱监督变差）\n- 2D 热图：HIC 38.64 → 51.19\n- 2.5D 热图（Ours，无弱监督）：HIC 31.35 / IH2.6M 29.29；加弱监督后 HIC 恶化至 61.05\n- 结论：几何输入（2.5D 热图）因外观不变性在 HIC 上最优；纯图像输入在 IH2.6M 上尚可但在 HIC 上因外观域差崩溃（206.83）；2D 弱监督在所有输入与两个基准上均恶化 MRRPE，实证支持第 1 节与 Fig. 1(b) 的分析——3D 相对平移尺度缺乏 MANO 形状参数那样的强约束，易被错误的 3D 全局平移误导监督。\n\n## (d) 特征提取方式（Table 4，MRRPE）\n\n- GAP（先前常用 [^5][^20][^25][^32]）：HIC 39.85 / IH2.6M 29.14\n- 所有关节特征：HIC 48.99 / IH2.6M 31.57\n- 手腕特征（Ours）：HIC 31.35 / IH2.6M 29.29\n- 结论：显式双线性插值提取手腕特征优于 GAP（GAP 平均整个空间域，不保证保留手腕信息）；全关节特征因引入过多无关信息反而最差。\n\n### 5. 跨数据集综合解读\n\n- **域差放大效应**：先前方法从 IH2.6M 到 HIC 误差显著放大（如 IntagHand MRRPE 29.31→52.46，Zhang et al. 31.56→110.25），而 InterWild 几乎无放大（29.29→31.35），且交互序列 MPVPE 在 HIC 上甚至低于单手序列（15.70 vs 15.65 接近持平），是\"共享域输入\"核心主张的最有力证据。\n- **局限与注意事项**：HIC 虽外观多样但仍为室内 RGBD 数据集，非严格户外场景；MSCOCO 仅定性评估、无 3D GT 定量指标；对比实验中先前方法为作者重训版本，复现验证依赖补充材料（当前输入缺失，见 Module A 风险项）。\n\n\n## 模块 C6：有什么可以进一步探索的点？（理论/工程/数据/评测） / Module C6: What can be further explored? (theory/engineering/data/evaluation)\n\n## Module C6：后续可探索方向\n\n### 1. 理论方向（Theory）\n\n1. **2D 弱监督对 3D 相对平移的偏差形式化**：论文以直观例子（Fig. 1(b)：3D 全局平移估计错误时，相对平移被监督到错误方向，即图中橙色箭头）与消融实验（Table 3：所有输入类型下加入 2D 弱监督均使 MRRPE 变差，如 2.5D heatmap 输入在 HIC 上从 31.35 恶化到 61.05）说明问题根源是相对平移的 3D 尺度缺乏强约束（对比：手部尺寸被 MANO shape 参数强约束在约 15 cm，第 1 节）。后续可建立理论模型，刻画当 3D 全局平移估计误差服从某分布时，2D 弱监督对相对平移造成的系统性偏差界，并推导弱监督有益/有害的判别条件。\n2. **几何特征的可辨识性分析**：3.2 节指出 2.5D 位姿并不总能唯一决定 3D 相对平移——例如一只手为 neutral pose、另一只为 fist pose 时，即使占据 2D 面积不同，3D 相对深度也可为零（手是可变形的）。可研究“手形/姿态先验 + 2.5D 观测”下相对平移的可辨识性条件与歧义度量，为预测不确定性估计提供理论支撑。\n3. **共享域归一化的一般化框架**：将本文两条“输入归一化到共享域”策略——单手裁剪统一 2D 尺度空间（Fig. 2(b)、Fig. 5 的尺度分布论证）与纯几何特征构建外观不变空间（Fig. 3(b)）——抽象为域自适应的一般原则，分析其对 appearance gap 与 scale gap 的消除能力边界，并推广到人体网格、手-物体交互等其他 3D 恢复任务。\n\n### 2. 工程方向（Engineering）\n\n1. **与全身 3D 人体网格估计集成**：第 5 节结论明确指出这是有前景的未来方向；可设计 InterWild（DetectNet→SHNet→TransNet，Fig. 4）与 whole-body 方法（如引用 [^3][^11][^17] 一类框架）的接口，使手部模块与身体模块共享特征并保持尺度一致。\n2. **端到端联合优化与实时部署**：当前三个子网络分阶段串联，SHNet 对左右手图像在 batch 维并行独立处理（3.1 节）；可探索跨模块特征交互、知识蒸馏与量化加速，面向 AR/VR 场景（作者隶属 Meta Reality Labs）的实时手部交互。\n3. **TransNet 结构改进**：Table 4 显示 wrist 特征插值提取优于 GAP（31.35 vs 39.85）与全关节特征（48.99）；可进一步引入以腕部为中心的注意力/局部窗口机制，或用 3D 卷积处理 2.5D 高斯热图 H∈R^{2J×D×H×W}（3.2 节，D=H=W=64）以更好利用深度维信息。\n4. **扩展到手-物体交互**：将“几何特征估计相对平移”思想推广到手与物体、多手多物体的相对位姿估计；相关工作 [^13] 聚焦手-物体交互但未解决双手间交互，存在互补空间。\n\n### 3. 数据与评测方向（Data & Evaluation）\n\n1. **野外 3D 交互手数据采集**：第 1 节指出采集 ITW 3D 数据需数十台标定同步相机、人工成本巨大，且 2D 标注受严重遮挡与自相似性阻碍（Fig. 1(a)：即使 IoU 阈值放宽到 0.1，MSCOCO 中交互手样本仍极少）。可探索便携式多目 rigs、或以 InterWild 类模型产生伪标签再人工校验的半自动标注流水线。\n2. **真正的 ITW 评测基准**：4.1 节承认 HIC 虽外观多样但仍是室内 RGBD 采集；需要包含户外光照、运动模糊、多人遮挡且带 3D GT 的基准，并按遮挡程度/双手框 IoU/外观多样性分层报告 MPVPE/MRRPE（可扩展 Fig. 8 的 τ 分层评测协议）。\n3. **半合成与生成式数据**：Table 6 显示 AIH [^16] 借助合成数据仍受 IH2.6M 外观差距限制；可研究用生成式模型（如扩散模型）合成多样外观的交互手图像，或用神经渲染将 MoCap 序列重光照到 ITW 背景，检验共享域假设的数据效率上限。\n4. **评测协议公平性**：4.4 节指出前人方法推理用 GT hand boxes 而本文用 DetectNet 预测框，且前人网络由作者基于其测试代码重训；后续工作应统一检测输入、报告端到端误差，并补充尺度对齐与否的对照（本文遵循 Moon et al. [^20] 不做尺度对齐）。\n\n### 4. 优先级建议\n\n- **短期（工程收益最高）**：与全身网格估计集成 + 统一检测输入的端到端评测协议。\n- **中期（理论支撑）**：2D 弱监督偏差的形式化分析与相对平移不确定性估计。\n- **长期（数据瓶颈）**：ITW 3D 交互手基准建设与半自动标注流水线。\n\n\n## 模块 C7：现实场景如何体现/实现？（部署约束、算力、延迟、鲁棒性） / Module C7: How would this work in real-world scenarios? (deployment constraints, compute, latency, robustness)\n\n## Module C7：真实世界部署视角（How would this show up in real-world use?）\n\n### 1. 浅层理解：部署形态与目标场景\n\n- **目标场景**：野外（in-the-wild, ITW）单目 RGB 图像上的 3D 交互双手网格恢复。作者隶属 Meta Reality Labs（Module A 元数据），指向 AR/VR 手部交互等消费级应用；结论部分亦提出与全身 3D 人体网格估计方法集成的前景（第 5 节）。\n- **部署形态**：三段式串行流水线 DetectNet → SHNet → TransNet（第 3 节，Fig. 4）：DetectNet 检测手部框 → 从高分辨率人体图像裁剪单手区域 → SHNet 输出每只手的 3D 网格与 2.5D pose → TransNet 输出两手间 3D 相对平移 → 左手网格加相对平移得到最终结果（3.3 节）。\n- **输入要求**：仅需单张 RGB 图像（无需 RGBD 或多相机阵列），但需要高分辨率人体图像用于裁剪（Fig. 4 说明），意味着远距离小目标等低分辨率输入场景会受限。\n\n### 2. 中层分析：部署约束\n\n- **检测依赖与误差级联**：SHNet/TransNet 的输入完全依赖 DetectNet 的预测框（第 3 节）。值得注意的是，SOTA 对比中前人方法推理使用 GT hand boxes，而本文使用 DetectNet 预测框（4.4 节），说明评估更贴近真实部署条件；但 DetectNet 漏检/误检对最终指标的量化影响正文未给出。\n- **训练数据依赖**：训练需混合批次（mini-batch 一半 IH2.6M [^20]、一半 MSCOCO whole-body [^9][^15]，4.1 节），部署方需同时获取并维护 MoCap 与 ITW 两类数据源及 2D/3D 标注管线。\n- **尺度歧义**：从单张图像估计 3D 全局平移本身高度歧义（第 1 节）；评估时不与 GT 做尺度对齐（4.4 节，遵循 Moon et al. [^20]），因此绝对深度/尺度精度在部署中需额外标定手段（如相机内参先验或用户手尺寸先验）。\n\n### 3. 计算/延迟影响\n\n- **结构上的轻量设计**：\n  - SHNet 将右手图与水平翻转的左手图在 batch 维拼接并行处理（3.1 节），避免对两只手做两次串行前向。\n  - TransNet 仅以 2.5D Gaussian heatmap（D=H=W=64，3.2 节）为输入，骨干为去掉第一个卷积块与末层全连接的 ResNet-18 [^8]（3.2 节），计算量远小于以图像为输入的方案（Table 3 显示图像输入方案在 ITW 上精度也差）。\n- **缺失的部署指标**：论文未报告 FPS、参数量、FLOPs 或内存占用；相关工作提到 Di et al. [^4] 为 lightweight 系统（第 2 节），但本文未做速度对比。因此能否满足 AR/VR 类应用的实时性要求（通常端到端 ≥30 FPS）在当前证据下无法确认，是部署前必须补测的缺口。\n- **推理路径定性估算**：三网络串行 + 多次几何变换（裁剪缩放、TransNet 输入的 2D affine warp，3.2 节），CPU 端实时性存疑，GPU/移动 NPU 上预计可行，但需实测验证。\n\n### 4. 鲁棒性/安全性问题\n\n- **外观鲁棒性（核心卖点）**：在未参与训练、外观更多样的 HIC [^29] 上，InterWild 取得 MPVPE 15.65/15.70、MRRPE 31.35，显著优于 IHMR [^25]、Zhang et al. [^32]、IntagHand [^14]（Table 5、Fig. 8）；定性结果在 MSCOCO 上也优于 IntagHand（Fig. 9）。这直接对应部署中最常见的场景外观不可控问题。\n- **严重遮挡鲁棒性**：左手水平翻转 + 只学右手的策略形成隐式去遮挡（implicit de-occlusion），两手严重重叠时仍能恢复正确 3D 手（3.1 节、Table 2、Fig. 7），对握手、持物等交互密集的真实场景重要。\n- **已知失效模式**：\n  1. 2D 弱监督会系统性恶化 3D 相对平移（Fig. 1(b)、Table 3：所有输入类型加弱监督后 MRRPE 均变差，如 2.5D hm. 输入在 HIC 上从 31.35 恶化到 61.05），部署中若引入 ITW 2D 标注做微调需格外谨慎。\n  2. 3D 全局平移歧义导致的尺度/深度错误（第 1 节）。\n  3. DetectNet 失效（漏检、双手框大面积重叠）会级联导致 SHNet/TransNet 输入错误。\n- **安全性考量**：论文未讨论安全关键场景。在 AR/VR 交互中，错误的相对平移会造成双手穿插/分离的视觉与交互错误；若作为手势识别等下游任务前端，需自行设置置信度阈值与回退策略，这些属于部署方需补充的工程保障。\n\n### 5. 可维护性\n\n- **开源与可复现**：代码与训练模型已公开（摘要脚注 1、第 1 节）；作者还基于前人测试代码重训其网络以保证公平对比，并承诺在补充材料中验证复现（4.4 节），有利于后续维护与基准更新。\n- **模块化架构**：DetectNet/SHNet/TransNet 职责解耦（第 3 节），任一模块可独立替换升级（如换更强的检测器或单手网络）；组件均为社区标准件（MANO [^23]、ResNet-18 [^8]、Pose2Pose [^17] 架构），降低维护门槛。\n- **数据与训练管线维护**：混合批次训练（4.1 节）要求同时维护 IH2.6M 与 MSCOCO whole-body 两套数据；新增 ITW 数据时，SHNet 侧可直接受益于共享 2D 尺度空间（第 1 节），但 TransNet 侧仍只能依赖 MoCap 3D 监督（3.3 节），数据扩充收益不对称。\n- **演进方向**：与 whole-body 3D 人体网格估计集成被列为未来工作（第 5 节），意味着后续版本可能改变输入接口（从手部框扩展到人体），维护时需关注接口兼容性。\n\n### 6. 深层分析：从论文到产品的差距清单\n\n1. **实时性证据缺失**：第 4 节全部为精度指标，无延迟/模型规模报告，部署前须在目标硬件实测并考虑量化/蒸馏。\n2. **端到端误差未解耦**：Table 5 的结果混合了 DetectNet 与后续网络的误差，缺少 GT 框 vs 预测框的消融来量化检测误差传播。\n3. **单帧方法**：未利用视频时序信息，真实应用中可能出现帧间抖动，需要时序平滑等后处理。\n4. **绝对尺度/深度**：单目尺度歧义（第 1 节）在 AR 叠加等需要米制精度的场景需借助外部先验解决。\n5. **补充材料依赖**：DetectNet/SHNet 架构细节与 2D 弱监督实现均在补充材料（第 3 节、4.3 节引用），当前输入缺失，完整复现部署版本需获取补充材料与开源代码。\n\n**小结**：InterWild 的两项核心设计（单手裁剪输入统一 2D 尺度空间、TransNet 仅用几何特征构建外观不变空间）本质上都是面向真实部署的鲁棒性设计，在 ITW 基准上带来大幅精度提升（Table 5：HIC 上 MRRPE 从 52.46 降至 31.35）；但论文未提供延迟/模型规模等部署指标，检测误差传播与时序稳定性亦未量化，实际落地前需补齐上述工程验证。\n\n\n## 模块 C8：总结主要内容（一段摘要 + 5 条要点 + 1 个核心公式/机制） / Module C8: Summarize the main content (one paragraph + 5 bullets + one core formula/mechanism).\n\n## Module C8：精炼总结\n\n### 1. 总结段落\n\n针对现有 3D 交互双手恢复方法仅在 MoCap 环境下表现稳健、难以泛化到野外（in-the-wild, ITW）图像的问题，本文提出 InterWild 框架（摘要、第 1 节）。该方法将 3D 交互双手恢复拆分为两个子问题：每只手各自的 3D 网格估计，以及两手间 3D 相对平移估计（第 1 节）。对于第一个子问题，InterWild 无论双手是否交互，均以裁剪的单手图像作为 SHNet 输入，从而将 MoCap 交互手与 ITW 大规模单手数据统一到共享的 2D 尺度空间（第 3.1 节，Fig. 2、Fig. 5）。对于第二个子问题，TransNet 仅以几何特征（2.5D 高斯热图）而非图像作为输入，并放弃来自 ITW 数据集的 2D 弱监督，从而构建外观不变空间并避免因 3D 全局平移估计错误而导致的错误相对平移监督（第 3.2 节，Fig. 1(b)、Fig. 3、Table 3）。此外，TransNet 在 ResNet-18 特征图上按左右手腕的 2D 坐标做双线性插值提取腕部特征，优于常用的全局平均池化（GAP）（第 3.2 节，Table 4）。实验表明，InterWild 在 HIC 与 IH2.6M 上均超越现有 SOTA 方法，且在代表野外泛化能力的 HIC 上优势尤为显著（第 4.4 节，Table 5、Fig. 8）。该工作为几乎未被研究的野外 3D 交互双手恢复方向提供了有效框架与可复用见解，并公开了代码与训练模型（第 5 节）。\n\n### 2. 五个关键要点\n\n1. **单手输入归一化 2D 尺度**：SHNet 无论双手是否交互都取单手裁剪图作为输入，使 MoCap 交互手数据与 ITW 单手数据共享 2D 尺度空间，大幅提升 ITW 泛化能力（第 3.1 节；Table 1：HIC 交互序列 MPVPE 从双图输入的 35.86 降至单图输入的 15.70）。\n2. **左手水平翻转 + 共享权重**：将左手图像水平翻转为右手图像，SHNet 只需学习处理右手，实现隐式去遮挡，在双手严重交叠时仍能正确恢复两只手的 3D 网格（第 3.1 节；Table 2、Fig. 7）。\n3. **几何特征输入 + 弃用 2D 弱监督**：TransNet 仅用 2.5D 高斯热图估计 3D 相对平移，因几何特征对外观不变而弥合 MoCap-ITW 外观差距；实验证明 2D 弱监督因相对平移的 3D 尺度缺乏强约束反而恶化结果（第 3.2 节；Table 3：HIC MRRPE 31.35 mm vs. 图像输入的 206.83 mm）。\n4. **腕部特征提取优于 GAP**：在特征图上按 2.5D 姿态给出的腕部坐标做双线性插值，显式提取与相对平移直接相关的腕部信息，比全局平均池化更有效（第 3.2 节；Table 4：腕部特征 31.35 vs. GAP 39.85）。\n5. **SOTA 且野外稳健**：在 HIC 上取得 MPVPE 15.65/15.70、MRRPE 31.35 mm，全面超越 IHMR、Zhang et al.、IntagHand 等方法；且对比推理时使用 DetectNet 预测框而非 GT 手框，设置更贴近实际（第 4.4 节；Table 5-6、Fig. 8-9）。\n\n### 3. 核心公式/机制\n\n最终 3D 交互双手网格的组装机制（第 3.3 节，Fig. 4、Fig. 6）：\n\n$$M_{\\text{interact}} = \\{\\, M_r,\\; M_l + t \\,\\}$$\n\n其中 $M_r, M_l$ 为 SHNet 从单手裁剪图估计的右/左手 3D 网格（根关节相对空间，经 MANO 层生成）；$t \\in \\mathbb{R}^3$ 为 TransNet 预测的左手腕相对右手腕的 3D 相对平移，其输入为经 2D 仿射变换到双手框并集空间后的 2.5D 高斯热图 $\\mathbf{H} \\in \\mathbb{R}^{2J \\times 64 \\times 64 \\times 64}$，经去掉首卷积块的 ResNet-18 得到特征图 $\\mathbf{F}$，再在 $\\mathbf{P}_r', \\mathbf{P}_l'$ 给出的腕部 2D 位置做双线性插值提取腕部特征并拼接腕部坐标后由线性层回归得到。训练以 $L_1$ 距离端到端最小化预测与 GT 的检测框、MANO 参数、3D 关节坐标及 3D 相对平移，其中 t 仅由 MoCap 数据（IH2.6M）监督，ITW 样本不参与该监督（第 3.3 节）。\n\n\n## 模块 D：第二遍内容理解（方法结构/关键图表/实验） / Module D: Second Pass (method structure, key figures, experiments)\n\n## Module D：第二遍精读理解\n\n### 1. 结构树（Structure Tree）\n\n``nInterWild 论文结构\n├── 1. Introduction（第 1 节）\n│   ├── 问题动机：MoCap 与 ITW 数据存在巨大域差（尤其外观差距），\n│   │   现有方法直接迁移到 ITW 结果不稳定（第 1 节）\n│   ├── 关键观察 1：ITW 缺少大规模 2D/3D 交互手数据，但有大规模 2D 单手数据（Fig. 1a）\n│   ├── 关键观察 2：2D 弱监督会因错误的全局平移而错误监督 3D 相对平移（Fig. 1b）\n│   └── 三点贡献：InterWild 框架；单手输入统一 2D 尺度空间；几何特征输入构建外观不变空间\n├── 2. Related Works（第 2 节）\n│   ├── 3D interacting hands recovery：拟合式 [1][21][22][28][29][31] vs 回归式 [18][20][25][32][13][14][6][4]\n│   └── 几何特征缩小外观差距：Pose2Mesh [2]、Song [26]、Zhou [34]、Zhang [33]；\n│       本文首次用几何特征估计双手 3D 相对平移\n├── 3. InterWild（第 3 节，方法主体）\n│   ├── 3.1 SHNet：单手裁剪输入（左手翻转）→ 3D 网格 + 2.5D pose\n│   ├── 3.2 TransNet：2.5D 高斯热图输入 → 3D 相对平移（手腕特征提取）\n│   └── 3.3 最终输出与损失函数\n├── 4. Experiments（第 4 节）\n│   ├── 4.1 数据集（训练：IH2.6M + MSCOCO whole-body；测试：HIC、IH2.6M）\n│   ├── 4.2 评价指标（MPJPE、MPVPE、MRRPE）\n│   ├── 4.3 消融研究（Table 1–4、Fig. 7）\n│   └── 4.4 SOTA 对比（Table 5–6、Fig. 8–9）\n└── 5. Conclusion（第 5 节）：总结 + 与全身人体网格估计集成的未来方向\n``n\n\n### 2. 方法/系统分解（method 原型）\n\n**整体流水线（Fig. 4）**：DetectNet → SHNet → TransNet，端到端训练。\n\n### DetectNet（手部检测）\n\n- 输入：原始图像；输出：左右手检测框\n- 架构沿用 Pose2Pose [^17]（详细架构在补充材料，当前输入缺失，见 Module A 风险项）\n- 裁剪前将框宽高加倍，防止手部缺失并为 SHNet 提供周边上下文（3.1 节）\n\n### SHNet（子问题 1：单手 3D 网格估计）\n\n- 输入：单手裁剪图像——无论双手是否交互都只裁剪单手；左手图像水平翻转为右手，使输入利手（handedness）统一为右手；右手图与翻转左手图在 batch 维拼接并行处理\n- 输出：每只手的 3D 网格 M_l、M_r（经 MANO [^23] 层生成，减去根关节位置得根相对空间）与 2.5D pose P_l, P_r ∈ R^{J×3}（x/y 为 SHNet 输入图像的像素坐标，z 为根关节相对深度；翻转输入的输出会再翻回）\n- 设计依据：Fig. 5 显示双手图内单手的 2D 尺度分布与 ITW 单手图差异大，而单手裁剪后分布几乎重合 → 共享 2D 尺度空间；翻转策略在双手严重重叠时起隐式去遮挡作用（Fig. 7）\n- 架构：Pose2Pose [^17]\n\n### TransNet（子问题 2：3D 相对平移估计）\n\n- 输入：SHNet 输出的两只手 2.5D pose → 先做 2D 仿射变换 warp 到双手框并集空间（得 P_r'、P_l'，深度不受影响，仍为根相对深度）→ 转为 2.5D 高斯热图并在通道维拼接，H ∈ R^{2J×64×64×64}\n- 网络：ResNet-18 [^8]（去掉第一个卷积块以减少下采样、去掉最后全连接层）→ 特征图 F ∈ R^{512×H/8×W/8} → 在 P' 给出的左右手腕 2D 位置做双线性插值提取手腕特征 → 与 2D 手腕坐标拼接 → 线性层输出 t ∈ R^3\n- 设计依据：几何特征（2.5D 热图）对外观（颜色、光照）不变，缩小 MoCap/ITW 外观差距；手腕特征显式提取相对平移所需信息，优于 GAP（Table 4）；不使用 2D 弱监督以避免相对平移被错误监督（Table 3、Fig. 1b）\n\n## 最终输出与损失（3.3 节）\n\n- 最终 3D 交互双手 = 右手网格 M_r 与（左手网格 M_l + 3D 相对平移 t）\n- 训练：端到端最小化 L1 距离，监督对象包括预测/GT 框、MANO 参数、3D 关节坐标、3D 相对平移\n- 监督来源：3D 相对平移仅由 MoCap（IH2.6M）监督；ITW（MSCOCO）样本经 MANO 可微投影 + 固定虚拟相机内参做 2D 弱监督（服务于 SHNet，不用于相对平移）\n- 训练配比：mini-batch 一半 IH2.6M、一半 MSCOCO（mixed-batch training，4.1 节）\n\n### 3. 重要图表解读\n\n## Fig. 5（2D 尺度分布统计，3.1 节）\n\n- 内容：统计每只手框归一化宽高均值（先将框扩展为 1:1 长宽比）。黄色：IH2.6M 交互时双手图中的每只手（前人做法）；棕色：IH2.6M 交互时的单手裁剪（本文做法）；绿色：MSCOCO 单手图\n- 结论：黄色与绿色分布差异显著，棕色与绿色几乎重合 → 单手裁剪把 MoCap 交互手与 ITW 单手带入共享 2D 尺度空间，是 SHNet 输入设计的直接证据\n\n## Table 1（SHNet 输入消融，4.3 节）\n\n- 内容：交互时输入双手图 vs 单手图的 MPVPE（每格左/右为单手/交互序列误差）\n- 数据：HIC 上 29.80/35.86 → 15.65/15.70；IH2.6M 上 11.36/13.20 → 11.12/13.01\n- 解读：单手输入在 HIC（野外泛化）上收益巨大，在 IH2.6M 上收益小——因为 IH2.6M 的大规模交互数据本身可缓解尺度分布负担（作者减少其交互样本后出现与 HIC 相同趋势），而 ITW 难以收集此类数据，故共享尺度空间的价值集中在野外场景\n\n## Table 3（TransNet 输入与 2D 弱监督消融，4.3 节）\n\n- 内容：4 种输入（图像、图像+2.5D 热图、2D 热图、2.5D 热图）× 有无 2D 弱监督的 MRRPE\n- 关键发现：\n  1. 本文设置（2.5D 热图、无弱监督）在 HIC 上最优（31.35）\n  2. 图像输入在 IH2.6M 上尚可（27.67）但在 HIC 上极差（206.83）→ 外观差距主导；几何特征外观不变因此泛化好\n  3. 2D 弱监督在所有输入与两个基准上均恶化 MRRPE（如 2.5D 热图：31.35 → 61.05）→ 相对平移的 3D 尺度缺乏强约束（手的大小被 MANO shape 参数强约束约 15cm，而双手间距可任意），错误的全局平移导致错误的相对平移监督（Fig. 1b）\n\n## Table 4（特征提取消融，4.3 节）\n\n- GAP：39.85/29.14；全关节特征：48.99/31.57；手腕特征（本文）：31.35/29.29（HIC/IH2.6M 的 MRRPE）\n- 解读：GAP 平均整个空间域，不保证保留手腕信息；全关节特征引入过多无关信息反而最差；显式手腕特征最优\n\n## Table 5（SOTA 对比，4.4 节）\n\n- HIC：InterWild MPVPE 15.65/15.70、MRRPE 31.35，显著领先 IntagHand（18.83/27.31、52.46）、Zhang et al.（23.53/31.79、110.25）、IHMR（30.76/46.38、119.64）\n- IH2.6M：InterWild 11.12/13.01、29.29，同样最优\n- 解读：HIC 上差距尤其大，证明域共享设计（Fig. 2、Fig. 3）对野外鲁棒性的贡献\n\n### 4. 实验与评估细节\n\n- **训练集**（4.1 节）：IH2.6M [^20]（MoCap，3D GT）+ MSCOCO whole-body 版本 [^9][^15]（ITW，2D GT）；mini-batch 各半\n- **测试集**：HIC [^29]（主测试集；室内 RGBD 捕获但外观远比 IH2.6M 多样真实，且训练未见 → 检验对未见外观的泛化，即野外鲁棒性）；IH2.6M（MoCap 代表基准）；定性结果在 MSCOCO 验证集（Fig. 9）\n- **指标**（4.2 节）：\n  - MPJPE / MPVPE：根关节平移对齐后的 3D 关节/网格顶点平均距离（mm），评估单手网格\n  - MRRPE：预测与 GT 的右手根到左手根 3D 距离（mm），评估 3D 相对平移\n  - 不与 GT 做尺度对齐（遵循 Moon et al. [^20]）\n- **对比目标**：IHMR [^25]、Zhang et al. [^32]、IntagHand [^14]（Table 5，网格方法）；AIH [^16]（Table 6，姿态方法，其使用基于 IH2.6M 的额外合成数据仍不敌本文）\n- **公平性说明**（4.4 节）：\n  - 前人公开模型仅在 IH2.6M 训练且训练代码不可得，作者基于其测试代码重训（IH2.6M+MSCOCO，与本文相同数据）；复现验证放在补充材料（当前输入缺失）\n  - 前人推理用 GT 手框（遵循其原始设置），本文用 DetectNet 预测框——条件对本文更不利仍领先\n  - Keypoint Transformer [^6] 因相机参数损失需要 3D GT（MSCOCO 无）而无法纳入 MSCOCO 训练，故未列入 Table 5\n- **消融汇总**（4.3 节）：Table 1（单手 vs 双手输入）；Table 2（翻转 + 权重共享：翻转/共享权重最优，HIC 15.65/15.70；不翻转时严重重叠导致左右输出几乎相同（Fig. 7a）；翻转与分离权重不可组合，因翻转已归一化利手）；Table 3（TransNet 输入与弱监督）；Table 4（手腕特征 vs GAP vs 全关节）\n\n### 5. 方法架构图（method 原型）\n\n``n输入图像\n   │\n   ▼\n┌─────────────┐  手部框（宽高×2）\n│ DetectNet   │──────────────┐\n└─────────────┘              │\n                             ▼\n              裁剪单手图（左手水平翻转 → 统一为右手）\n                             │\n                             ▼\\                  ┌──────────────────┐\n                  │      SHNet       │\n                  │（Pose2Pose 架构） │\n                  └──────────────────┘\n                     │            │\n              3D 网格 M_l/M_r   2.5D pose P_l/P_r\n              （MANO，根相对）      │\n                     │            ▼\n                     │   2D 仿射变换 → 双手框并集空间（P'）\n                     │            │\n                     │            ▼\n                     │   2.5D 高斯热图 H（2J×64×64×64）\n                     │            │\n                     │            ▼\n                     │   ┌───────────────────┐\n                     │   │      TransNet     │\n                     │   │ ResNet-18（裁剪版）│\n                     │   │ + 手腕特征双线性插值│\n                     │   └───────────────────┘\n                     │            │\n                     │            ▼\n                     │      3D 相对平移 t\n                     ▼            ▼\n          最终输出：M_r 与（M_l + t）\n``n\n**训练监督流**：\n\n- MoCap（IH2.6M）：框、MANO 参数、3D 关节、3D 相对平移全部 L1 监督\n- ITW（MSCOCO）：框、MANO 参数（经 2D 投影弱监督）监督；不监督 3D 相对平移\n- 推理流：DetectNet 预测框 → SHNet 逐手处理 → TransNet 融合 2.5D 热图 → 输出最终交互双手网格\n\n\n## 模块 E：第三遍深度审视（重建/假设/失败模式/审稿意见） / Module E: Third Pass (reconstruction, assumptions, failure modes, review)\n\n## Module E：第三遍精读——深度评审\n\n### 1. 可复现性重建（伪代码与重建笔记）\n\n**整体流水线伪代码**（依据第 3 节、Fig. 4–6）：\n\ntext\n输入: 单张 RGB 图像 I\n\n1. b_r, b_l ← DetectNet(I) # 手部检测框（架构沿用 Pose2Pose [^17]，细节在补充材料）\n2. 对每个框: 宽高加倍 → 从高分辨率图像裁剪并 resize 为单手图像\n3. 左手图像水平翻转，使所有输入统一为“右手”图像\n4. M_r, P_r ← SHNet(右手图像); M_l, P_l ← SHNet(翻转左手图像) # 翻转分支输出再翻转回原坐标系\n\n# M 为 MANO 层输出的 3D 网格（根关节相对空间）；P ∈ R^{J×3} 为 2.5D pose（xy 像素坐标 + z 根相对深度）\n\n5. 对 P_r, P_l 施加 2D 仿射变换，从单手图像空间映射到双手框并集空间 → P_r', P_l'\n6. 将 P_r', P_l' 转为 2.5D 高斯热图并在通道维拼接 → H ∈ R^{2J×64×64×64}\n7. F ← ResNet-18(H)（去掉第一个卷积块与末端全连接层）, F ∈ R^{512×8×8}\n8. 在 F 上按 P_r', P_l' 的手腕 2D 位置做双线性插值提取腕部特征；与 2D 腕坐标拼接 → 线性层 → t ∈ R^3\n9. 输出: 右手网格 M_r 与 (M_l + t)\n``n\n**训练要点**（3.3 节、4.1 节）：端到端最小化 L1 损失，监督对象包括检测框、MANO 参数、3D 关节坐标与 3D 相对平移；其中 3D 相对平移仅由 MoCap 数据（IH2.6M）监督，ITW 样本（MSCOCO whole-body）不参与该监督。训练 mini-batch 一半 IH2.6M、一半 MSCOCO。\n\n**复现风险**：DetectNet/SHNet 具体架构与 2D 弱监督实现均在补充材料（第 3 节、4.3 节多次引用），当前输入缺失；摘要脚注 1 称代码已公开但文档未给出具体 URL，精确复现需依赖官方代码仓库。\n\n### 2. 关键假设（3–6 条）\n\n- **A1（2D 尺度共享假设）**：单手裁剪输入能把 MoCap 交互手与 ITW 单手样本归一到同一 2D 尺度分布；证据为 Fig. 5 的尺度分布对比与 Table 1 中 HIC MPVPE 的下降（29.80/35.86 → 15.65/15.70）。\n- **A2（外观不变性假设）**：2.5D 热图等几何特征对外观（颜色、光照）不变，仅凭几何信息即可在 MoCap 上训练并泛化到 ITW 的 3D 相对平移估计（3.2 节、Table 3：2.5D hm. 无弱监督在 HIC 上 MRRPE 31.35，远低于图像输入的 206.83）。\n- **A3（尺度约束不对称假设）**：MANO 形状参数强约束手部 3D 尺度（成人手约 15 cm），而 3D 相对平移尺度几乎无约束，故 2D 弱监督中错误的全局平移会污染相对平移监督（第 1 节、Fig. 1(b)）。\n- **A4（检测可靠性假设）**：DetectNet 能在 ITW 图像上可靠检出双手框；推理时本文用预测框而前人方法用 GT 框（4.4 节），隐含假设检测误差不主导最终误差。\n- **A5（测试集代表性假设）**：HIC 虽为室内 RGBD 数据，但外观多样且未参与训练，可代表对未见外观的 ITW 泛化能力（4.1 节）。\n- **A6（翻转去遮挡假设）**：严重重叠时左手框裁剪图内容近似右手，翻转后训练 SHNet“忽略左手、只恢复右手”可实现隐式去遮挡（3.1 节、Fig. 7、Table 2）。\n\n### 3. 失效模式与盲点（2–4 条）\n\n- **检测误差级联**：整条流水线依赖 DetectNet；若 ITW 场景中手部严重模糊或尺度过小导致漏检/框不准，SHNet 的裁剪与 TransNet 的并集空间仿射变换都会失准。且 4.4 节对比中前人用 GT 框、本文用预测框，公平性需谨慎解读。\n- **几何输入的信息上限**：2.5D 热图丢弃图像外观，当几何线索歧义时可能出错——3.2 节自己承认“占面积小 ≠ 深度大”（手可形变：握拳 vs 中性姿势深度可相同）；热图深度分辨率 64 也构成量化上限。\n- **2D 弱监督负迁移的边界条件**：Table 3 显示弱监督在所有输入设置与两个基准上都恶化 MRRPE，但该结论依赖当前单目全局平移估计方式；若未来引入更可靠的单目深度先验，结论可能不再成立。\n- **评估盲区**：不存在带 3D GT 的大规模 ITW 交互手数据，野外 3D 精度只能靠 HIC（室内）与 MSCOCO 定性结果（Fig. 9）间接支撑，无法定量验证；且 Fig. 9 中 IntagHand 使用 GT 框而本文使用检测框，输入条件不一致。\n\n### 4. 优点与不足\n\n### 优点\n\n- 域共享设计简洁且有效：HIC 上 MPVPE 15.65/15.70、MRRPE 31.35，显著优于 IntagHand（18.83/27.31、52.46），IH2.6M 上也全面领先（Table 5、Table 6、Fig. 8）。\n- 消融链条完整：单手输入（Table 1）、翻转策略（Table 2、Fig. 7）、几何输入与弱监督（Table 3）、腕部特征 vs GAP vs 全关节特征（Table 4）逐一验证每个设计选择，证据链清晰。\n- 首个用纯几何特征估计双手 3D 相对平移的工作（第 2 节），并实验证明 2D 弱监督对相对平移的负作用（Table 3），对后续工作有明确警示价值。\n- 代码与训练模型公开（摘要脚注 1），利于复现与持续研究。\n\n## 不足\n\n- 对比公平性存疑：前人方法推理用 GT 手框而本文用 DetectNet 预测框；前人网络由作者基于其测试代码重训（原训练代码不可得），复现验证被推迟到补充材料（4.4 节）。\n- Keypoint Transformer [^6] 因相机参数损失需要 3D GT 而无法纳入 MSCOCO 训练，未能完全同台对比（4.4 节）。\n- 关键实现细节（DetectNet/SHNet 架构、2D 弱监督实现）依赖缺失的补充材料，正文自足性不足。\n- 定性评估仅在 MSCOCO 验证集（Fig. 9），缺少真正野外场景的多样化定量与定性验证。\n\n### 5. 下一步研究方向（2–4 条）\n\n- **与全身网格估计集成**：将 InterWild 嵌入 whole-body 3D 人体网格估计框架，统一手-脸-身体推理（第 5 节结论明确指出这是有前景的方向）。\n- **更安全的 ITW 弱监督**：设计对 3D 全局平移误差鲁棒的相对平移弱监督（例如仅监督相对方向或序关系而非绝对尺度），在不引入负迁移的前提下利用 ITW 2D 数据。\n- **几何+外观混合输入**：探索以几何特征为主、外观特征为辅（经域对抗或风格归一化）的 TransNet 变体，缓解纯几何输入在歧义姿势下的深度不确定性。\n- **半自动 ITW 数据积累**：用 InterWild 自举生成野外交互手伪 GT，逐步从数据侧缩小 MoCap-ITW 域差（呼应第 1 节关于野外 3D/2D 交互手数据采集极其困难的讨论）。\n\n\n## 模块 F：术语表与概念依赖图 / Module F: Glossary and Concept Map\n\n## Module F：术语表与概念依赖图\n\n### 一、术语表（Glossary，共 30 条）\n\n#### 1. 3D Interacting Hands Recovery（3D 交互双手恢复）\n\n- **定义**：从单张 RGB 图像重建单人相互交互的左右手 3D 网格（mesh）的任务。\n- **直觉**：给定一张照片，输出两只手在三维空间中的完整形状与相对位置。\n- **论文中的作用**：核心任务，被拆分为两个子问题：每只手各自的 3D 网格估计（第 1 节、Fig. 2）与两手间 3D 相对平移估计（第 1 节、Fig. 3）。\n- **先修知识**：3D 坐标系、网格表示、单目 3D 重建基础。\n\n#### 2. MoCap Dataset（Motion Capture Dataset，动作捕捉数据集）\n\n- **定义**：在受控环境中用多台标定相机采集、带精确 3D 真值（GT）的数据集，如 IH2.6M [^20]。\n- **直觉**：数据“干净”但外观单一（黑色背景、人工光照），与真实场景差距大。\n- **论文中的作用**：提供 3D 交互双手监督信号；其与 ITW 数据集间的域差是论文要解决的核心问题（第 1 节）。\n- **先修知识**：多相机标定、动作捕捉流程。\n\n#### 3. In-the-wild (ITW) Dataset（野外数据集）\n\n- **定义**：从真实场景采集、外观多样但缺乏 3D 真值的数据集，如 MSCOCO [^15]。\n- **直觉**：图像“接地气”，但标注只有 2D，且交互双手的 2D 标注极少（Fig. 1 (a)）。\n- **论文中的作用**：提供大规模 2D 单手数据用于弱监督；论文方法设计均围绕如何利用这些数据展开（第 1 节、Fig. 5）。\n- **先修知识**：数据集标注类型（2D 关键点 vs 3D 坐标）。\n\n#### 4. Domain Gap / Appearance Gap（域差/外观差距）\n\n- **定义**：MoCap 与 ITW 数据集在图像统计特性（背景、光照、色彩）上的系统性差异。\n- **直觉**：在“影棚”里训练的网络到“街头”照片上就失灵。\n- **论文中的作用**：论文动机核心；InterWild 通过共享 2D 尺度空间与外观不变空间来消除该差距（Abstract、第 1 节、4.3 节 Table 3 分析）。\n- **先修知识**：domain adaptation / generalization 概念。\n\n#### 5. Shared 2D Scale Space（共享 2D 尺度空间）\n\n- **定义**：通过始终输入单手裁剪图，使交互手与非交互手在输入图像中的 2D 尺度分布一致的空间。\n- **直觉**：不管两只手是否交叠，都只裁一只手，每只手在图里就“一样大”。\n- **论文中的作用**：第一个子问题的核心设计（SHNet 输入，Fig. 2 (b)、Fig. 5、3.1 节），使 ITW 大规模单手 2D 数据能直接帮助 MoCap 交互手训练。\n- **先修知识**：检测框、图像裁剪与缩放。\n\n#### 6. Appearance-invariant Space（外观不变空间）\n\n- **定义**：仅由几何信息（如 2.5D 姿态/热图）构成、对颜色与光照不敏感的特征空间。\n- **直觉**：不看图像“长什么样”，只看关键点“在哪里”，外观差异自然消失。\n- **论文中的作用**：第二个子问题的核心设计（TransNet 输入，Fig. 3 (b)、3.2 节），使仅在 MoCap 上监督的相对平移估计能泛化到 ITW。\n- **先修知识**：特征不变性概念。\n\n#### 7. InterWild\n\n- **定义**：论文提出的 3D 交互双手野外恢复框架，由 DetectNet、SHNet、TransNet 组成（Fig. 4）。\n- **直觉**：先检测手，再对每只手单独重建，最后用几何特征估计两手相对位置。\n- **论文中的作用**：论文的整体方法与贡献主体（第 3 节）。\n- **先修知识**：模块化流水线设计。\n\n#### 8. DetectNet\n\n- **定义**：从输入图像检测左右手边界框的网络，架构沿用 Pose2Pose [^17]。\n- **直觉**：先找到手在哪里，才能裁出单手图。\n- **论文中的作用**：流水线第一级（Fig. 4、第 3 节）；推理时本文用其预测框而前人方法用 GT 框（4.4 节）。\n- **先修知识**：目标检测基础。\n\n#### 9. SHNet（Single-hand Network）\n\n- **定义**：以单手裁剪图为输入、输出该手 3D 网格与 2.5D 姿态的网络（3.1 节）。\n- **直觉**：一个只认识右手的“专家”，左手图翻转后也交给它。\n- **论文中的作用**：实现共享 2D 尺度空间的关键模块；消融见 Table 1、Table 2。\n- **先修知识**：MANO 模型、姿态回归网络。\n\n#### 10. TransNet（Translation Network）\n\n- **定义**：以两手 2.5D 高斯热图为输入、输出两手间 3D 相对平移 t 的网络（3.2 节、Fig. 6）。\n- **直觉**：不看图像，只看两只手的几何布局来猜“谁前谁后、离多远”。\n- **论文中的作用**：实现外观不变空间的关键模块；消融见 Table 3、Table 4。\n- **先修知识**：热图表示、ResNet。\n\n#### 11. MANO Hand Model\n\n- **定义**：从姿态（pose）与形状（shape）参数可微地生成 3D 手部网格的统计模型 [^23]。\n- **直觉**：一组“手部形状旋钮”，转动参数即可得到不同 3D 手。\n- **论文中的作用**：SHNet 的输出表示；其 shape 参数强约束手的 3D 尺度（成人手约 15 cm），是相对平移缺乏类似约束的对照论据（第 1 节、4.3 节）。\n- **先修知识**：参数化人体/手部模型、可微性。\n\n#### 12. 2.5D Pose（2.5D 姿态）\n\n- **定义**：x、y 为输入图像像素坐标、z 为根关节相对深度的关节表示 [^27]，记作 P ∈ R^{J×3}（3.1 节）。\n- **直觉**：比 2D 多一个“相对深度”，但不是完整 3D。\n- **论文中的作用**：SHNet 的输出之一、TransNet 的输入，是连接两个子问题的桥梁（Fig. 4、Fig. 6）。\n- **先修知识**：相机投影、深度歧义。\n\n#### 13. 2.5D Gaussian Heatmap（2.5D 高斯热图）\n\n- **定义**：在 2.5D 坐标处放置高斯核得到的多通道体素热图 H ∈ R^{2J×D×H×W}，D=H=W=64（3.2 节）。\n- **直觉**：把关键点坐标“画”成 3D 云雾图，方便卷积网络处理。\n- **论文中的作用**：TransNet 的实际输入形式，使 ResNet-18 能发挥特征提取能力（3.2 节）；相比 2D 热图多了深度信息（Table 3）。\n- **先修知识**：热图回归、卷积网络输入格式。\n\n#### 14. 3D Relative Translation（3D 相对平移）\n\n- **定义**：左手腕根关节相对右手腕根关节的 3D 位置差 t ∈ R^3（3.2 节）。\n- **直觉**：两只手在空间中“隔多远、什么方位”。\n- **论文中的作用**：第二个子问题的输出；仅由 MoCap 数据全监督（3.3 节），其 3D 尺度弱约束导致 2D 弱监督有害（Fig. 1 (b)、Table 3）。\n- **先修知识**：刚体变换、坐标系。\n\n#### 15. 3D Global Translation（3D 全局平移）\n\n- **定义**：从相机到手根关节的 3D 平移，用于把模型坐标投影回 2D 以做弱监督（第 1 节）。\n- **直觉**：手在相机坐标系里的“绝对位置”，单图估计歧义大、常出错。\n- **论文中的作用**：2D 弱监督链条中的薄弱环节；其错误会传导为错误的相对平移监督（Fig. 1 (b)）。\n- **先修知识**：相机内外参、透视投影。\n\n#### 16. Mixed-batch Training（混合批次训练）\n\n- **定义**：mini-batch 中一半样本来自 MoCap（3D 全监督）、一半来自 ITW（2D 弱监督）的训练策略 [^3][^11][^12][^17][^19][^24]。\n- **直觉**：一半学“准”，一半学“广”。\n- **论文中的作用**：利用 ITW 2D 数据的主流做法，也是本文训练设置（4.1 节：一半 IH2.6M + 一半 MSCOCO）；论文指出对第二个子问题直接套用会失效（第 1 节）。\n- **先修知识**：mini-batch 训练、多源监督。\n\n#### 17. 2D-based Weak Supervision（基于 2D 的弱监督）\n\n- **定义**：将预测 3D 关节经估计的全局平移与固定虚拟相机内参投影到 2D，与 2D GT 对齐的监督方式（第 1 节）。\n- **直觉**：没有 3D 答案，就只要求“投影到图上要重合”。\n- **论文中的作用**：对第一个子问题有益；对第二个子问题（相对平移）有害，因全局平移易错且相对平移尺度无强约束（Fig. 1 (b)、Table 3）。\n- **先修知识**：透视投影、MANO 可微性。\n\n#### 18. Left-hand Horizontal Flipping（左手水平翻转）\n\n- **定义**：将左手裁剪图水平翻转为右手图后再送入 SHNet，使输入手性统一为右手（3.1 节）。\n- **直觉**：网络只需学会认一只手；严重交叠时翻转还能“隐式去遮挡”。\n- **论文中的作用**：Table 2 证明其对交互手精度关键；Fig. 7 给出可视化；同时实现手性归一化（handedness normalization）。\n- **先修知识**：数据增广、手性（left/right handedness）概念。\n\n#### 19. Implicit De-occlusion（隐式去遮挡）\n\n- **定义**：当两手严重重叠时，翻转后的左手图中的“右手”实为被遮挡的左手；SHNet 被训练为忽略左手、只重建右手，从而间接恢复被遮挡的手（3.1 节、Fig. 7）。\n- **直觉**：输入图里看到的是右手，但网络知道“我要的是翻转前的左手”，于是把被挡住的左手补出来。\n- **论文中的作用**：解释翻转策略在严重交互场景有效的机制（4.3 节）。\n- **先修知识**：遮挡处理、翻转一致性。\n\n#### 20. 2D Affine Transformation to Union Hand Box Space（到双手框联合空间的 2D 仿射变换）\n\n- **定义**：将各手 2.5D 姿态从单手图空间变换到两手边界框并集（union box）空间的变换，得到 P'_r、P'_l（3.2 节）。\n- **直觉**：把两只手各自的“局部地图”坐标统一到一张“共同地图”上，才能比较相对位置。\n- **论文中的作用**：TransNet 输入预处理，提供两手间相对 2D 尺度与平移信息（Fig. 6）；不改变各手根关节相对深度。\n- **先修知识**：仿射变换、边界框并集。\n\n#### 21. Wrist Feature Extraction（手腕特征提取）\n\n- **定义**：在 ResNet 特征图 F 上按 P'_r、P'_l 的 2D 手腕位置做双线性插值，取出手腕特征并与 2D 手腕坐标拼接后回归 t（3.2 节）。\n- **直觉**：相对平移本质是“两个手腕的关系”，直接去特征图上“抠”手腕位置的特征最相关。\n- **论文中的作用**：替代主流 GAP 的设计，Table 4 证明其优于 GAP 与全关节特征。\n- **先修知识**：特征图索引、双线性插值。\n\n#### 22. GAP (Global Average Pooling，全局平均池化)\n\n- **定义**：对特征图空间维取平均得到全局向量的操作，为前人方法 [^5][^20][^25][^32] 的常用特征聚合方式。\n- **直觉**：把整张特征图“压扁”，手腕信息可能被稀释。\n- **论文中的作用**：作为本文手腕特征提取的对照基线（Table 4）。\n- **先修知识**：池化操作。\n\n#### 23. MPJPE / MPVPE\n\n- **定义**：根关节平移对齐后，预测与 GT 的 3D 关节/网格顶点平均距离（mm），衡量单手 3D 网格精度（4.2 节）。\n- **直觉**：每根骨头/每个顶点平均偏了多少毫米。\n- **论文中的作用**：第一个子问题的主要指标（Table 1、2、5、6）。\n- **先修知识**：3D 误差度量、对齐方式（此处仅平移对齐）。\n\n#### 24. MRRPE (Mean Relative-Root Position Error)\n\n- **定义**：预测与 GT 的“右手根关节坐标系下左手根关节位置”之间的 3D 距离（mm），衡量 3D 相对平移精度（4.2 节）。\n- **直觉**：以一只手为原点，另一只手的位置猜得准不准。\n- **论文中的作用**：第二个子问题的主要指标（Table 3、4、5、6）。\n- **先修知识**：相对坐标系。\n\n#### 25. IH2.6M (InterHand2.6M)\n\n- **定义**：首个大规模真实采集的 3D 交互双手数据集及基线 InterNet [^18][^20]。\n- **直觉**：该领域的“标准训练场”，但外观是影棚式的。\n- **论文中的作用**：训练集（4.1 节）与对比基准（Table 1–5）；作者本人即其作者。\n- **先修知识**：数据集规模与标注形式。\n\n#### 26. MSCOCO Whole-body\n\n- **定义**：带全身（含手部）2D 关键点标注的野外数据集版本 [^9][^15]。\n- **直觉**：外观多样的真实图片库，手多为单手出现（Fig. 1 (a)）。\n- **论文中的作用**：提供大规模 2D 单手数据用于混合训练（4.1 节）；定性结果展示（Fig. 9）。\n- **先修知识**：COCO 标注体系。\n\n#### 27. HIC (Hands In Action)\n\n- **定义**：RGBD 相机采集、含单手与交互手序列、提供拟合到点云的 3D GT 网格的数据集 [^29][^7]。\n- **直觉**：虽在室内拍摄，但外观远比 IH2.6M 多样，且训练时未见过，可当作“野外泛化”试金石。\n- **论文中的作用**：主测试集，用于衡量对未见外观的泛化能力（4.1 节、Table 1–6）。\n- **先修知识**：RGBD 采集、数据集划分。\n\n#### 28. Pose2Pose\n\n- **定义**：Moon 等人的 3D 手部姿态估计网络 [^17]，DetectNet 与 SHNet 沿用其架构。\n- **直觉**：作者此前工作提供的“现成积木”。\n- **论文中的作用**：DetectNet/SHNet 的架构来源（第 3 节），细节在补充材料。\n- **先修知识**：热图式姿态估计网络。\n\n#### 29. ResNet-18（改造版）\n\n- **定义**：去掉第一个卷积块（减少下采样）与最后全连接层的 ResNet-18 [^8]，用于处理 2.5D 热图（3.2 节）。\n- **直觉**：热图分辨率不能压得太狠，所以砍掉第一层下采样。\n- **论文中的作用**：TransNet 的骨干网络，输出特征图 F ∈ R^{512×H/8×W/8}。\n- **先修知识**：残差网络结构。\n\n#### 30. IoU (Intersection over Union，交并比)\n\n- **定义**：两边界框交集与并集面积之比；论文用 IoU>0.1 的宽松阈值判定两手“交互”（Fig. 1 (a)）。\n- **直觉**：两个框重叠越多，越可能是交互手。\n- **论文中的作用**：说明即便放宽阈值，ITW 数据中 2D 交互手样本仍极少，支撑论文动机。\n- **先修知识**：检测框几何。\n\n### 二、概念依赖图（Concept Dependency Map，纯文本）\n\n``n基础层（先修概念）\n├── 相机投影 / 全局平移 (3D global translation)\n├── MANO 手模型 (pose/shape → 3D mesh)\n├── 热图表示 (2D / 2.5D Gaussian heatmap)\n├── ResNet-18 / GAP / 双线性插值\n└── 数据集类型：MoCap (IH2.6M) vs ITW (MSCOCO, HIC)\n\n任务层\n└── 3D Interacting Hands Recovery\n    ├── 子问题 1：单手 3D 网格估计（指标 MPJPE/MPVPE）\n    └── 子问题 2：两手 3D 相对平移估计（指标 MRRPE）\n\n动机层\n├── Domain/Appearance Gap（MoCap ↔ ITW）\n├── ITW 交互手 2D/3D 标注稀缺（IoU 阈值，Fig. 1a）\n└── 2D-based weak supervision 的局限\n    └── 全局平移错误 + 相对平移尺度弱约束 → 错误监督（Fig. 1b）\n\n方法层（InterWild = DetectNet + SHNet + TransNet）\n├── DetectNet（手框检测，Pose2Pose 架构）\n│ └── 提供裁剪框 → SHNet 输入\n├── 子问题 1 设计：Shared 2D Scale Space\n│ ├── SHNet 输入 = 单手裁剪图（无论是否交互）\n│ │ └── 依赖：2D 尺度分布分析（Fig. 5）\n│ ├── 左手水平翻转 → 手性归一化\n│ │ └── 依赖：隐式去遮挡机制（Fig. 7）\n│ └── 输出：3D mesh (MANO) + 2.5D pose\n│ └── 2.5D pose 是通往子问题 2 的桥梁\n└── 子问题 2 设计：Appearance-invariant Space\n      ├── 输入 = 2.5D pose（无图像）\n      ├── 2D 仿射变换 → union hand box space（相对 2D 尺度/平移）\n      ├── 转为 2.5D Gaussian heatmap → 改造版 ResNet-18\n      ├── 手腕特征提取（双线性插值）替代 GAP\n      └── 仅 MoCap 全监督，禁用 ITW 2D 弱监督\n\n训练层\n├── Mixed-batch training（一半 IH2.6M + 一半 MSCOCO）\n├── 端到端 L1 损失（框、MANO 参数、3D 关节、相对平移）\n└── 相对平移仅由 MoCap 监督\n\n验证层\n├── 消融：单手输入（Table 1）、翻转（Table 2, Fig. 7）、\n│ 几何输入与弱监督（Table 3）、手腕特征（Table 4）\n└── SOTA 对比：HIC/IH2.6M（Table 5, Fig. 8）、AIH（Table 6）、定性（Fig. 9）\n``n\n依赖要点说明：\n\n- **2.5D pose 是全文枢纽概念**：SHNet 产出它，TransNet 消费它，两个子问题借此衔接（Fig. 4）。\n- **共享 2D 尺度空间**依赖“单手输入 + 翻转”两个设计；**外观不变空间**依赖“几何输入 + 仅 MoCap 监督”两个设计；二者共同消解域差。\n- **“2D 弱监督有害”结论**依赖两个前提：全局平移估计歧义（Fig. 1b 中 ①）与相对平移尺度弱约束（对照 MANO shape 对手尺寸的强约束，约 15 cm）（第 1 节、Table 3）。\n\n\n\n\n## 模块 G：联网核验与引用校对 / Module G: Verification and Citation Check\n\n## Module G：验证、冲突与参考文献\n\n### 0. 核验方法说明\n\n当前输入仅有论文正文（无补充材料、无外部检索工具），验证采用两级策略：1) 论文内多定位交叉——同一事实在摘要、正文、图、表中相互印证；2) 与参考文献条目（作者、标题、venue、年份）做外部一致性核对。无法核验之处在 §2 明确标注。\n\n### 1. 关键事实性声明核验（每条含论文内定位与交叉/外部来源）\n\n### G1. IH2.6M 是首个大规模真实采集的 3D 交互双手数据集，并附带回归基线 InterNet。\n\n- 论文内定位：第 2 节 Related works（“Moon et al. [^18][^20] presented IH2.6M dataset, the first large-scale real-captured dataset... and a regression-based baseline model, InterNet”）。\n- 交叉验证：第 1 节（大规模 MoCap 数据集 [^20] 催生后续方法 [^4][^6][^14][^25][^32]）；4.1 节（IH2.6M 同时用作训练集与测试集）。\n- 外部来源：参考文献 [^20]（Moon et al., InterHand2.6M, ECCV 2020）条目信息一致。\n- 结论：一致，可信。\n\n### G2. MANO 手模型从姿态与形状参数以可微方式生成 3D 手部网格，是 2D 弱监督的基础。\n\n- 论文内定位：第 1 节（“The 2D-based weak supervision is enabled by the MANO [^23] hand model...”）；3.1 节（3D 网格由 MANO 层生成并减去根关节得到根相对空间）。\n- 外部来源：参考文献 [^23]（Romero, Tzionas, Black, Embodied Hands, ACM TOG 2017）。\n- 结论：一致，可信。\n\n## G3. MSCOCO（whole-body 版本）提供大规模 2D 单手数据，而 2D 交互手标注极少。\n\n- 论文内定位：Fig. 1(a)（在 IoU>0.1 的宽松阈值下交互手样本仍很少）；第 1 节（“ITW datasets provide large-scale 2D single-hand data, as shown in Fig. 1 (a)”）；4.1 节训练集说明。\n- 交叉验证：Fig. 5 绿色曲线（MSCOCO 单手 2D 尺度分布）。\n- 外部来源：参考文献 [^15]（Lin et al., Microsoft COCO, ECCV 2014）、[^9]（Jin et al., Whole-body human pose estimation in the wild, ECCV 2020）。\n- 结论：一致；但 Fig. 1(a) 的具体统计数值（样本量、坐标刻度）正文未给出，依赖图像本身。\n\n## G4. HIC 数据集由 RGBD 相机采集，提供拟合到 3D 点云的 3D GT 网格，被本文用作主要 ITW 测试集。\n\n- 论文内定位：4.1 节（“we use Hands In Action dataset (HIC) [^29] as our main test set... captured with an RGBD camera. HIC provides 3D GT meshes of hands [^7], fitted to a 3D point cloud”）。\n- 外部来源：参考文献 [^29]（Tzionas et al., IJCV 2016）、[^7]（Hasson et al., CVPR 2019，提供拟合网格）。\n- 结论：一致，可信。\n\n## G5. 网络架构事实：DetectNet/SHNet 沿用 Pose2Pose [^17]；TransNet 使用去掉首个卷积块与末尾全连接层的 ResNet-18 [^8]，2.5D 热图 D=H=W=64，特征通道 C=512，手腕特征经双线性插值提取。\n\n- 论文内定位：第 3 节（“DetectNet and SHNet follow architectures of Pose2Pose [^17]”）；3.2 节（ResNet-18、D/H/W=64、C=512、wrist feature 插值）。\n- 外部来源：参考文献 [^17]（Moon et al., CVPRW 2022）、[^8]（He et al., ResNet, CVPR 2016）。\n- 不确定性：详细架构在补充材料中，正文无法核对（见 U2）。\n\n## G6. 核心实验数字（InterWild 最终结果）内部一致。\n\n- 数值：HIC 上 MPVPE 15.65/15.70 mm（单手/交互序列）、MRRPE 31.35 mm；IH2.6M 上 MPVPE 11.12/13.01 mm、MRRPE 29.29 mm；HIC 上 MPJPE 16.00/16.17 mm（Table 6）。\n- 论文内定位与交叉验证：Table 5 ↔ Table 1（“Single-hand image (Ours)” 行 MPVPE 完全一致）↔ Table 3（“2.5D hm. ✗(Ours)” 行 MRRPE 完全一致）↔ Table 6（MRRPE 31.35 一致）。\n- 结论：多处交叉一致，数字可信。\n\n## G7. 2D 弱监督会恶化 3D 相对平移（MRRPE）估计。\n\n- 论文内定位：Fig. 1(b)（失败案例：错误的 3D 全局平移导致相对平移被错误监督，橙色箭头）；第 1 节机理论证（相对平移的 3D 尺度缺乏 MANO 形状参数式的强约束，成人手约 15 cm）；Table 3（四种输入设置下开启弱监督后 MRRPE 全部变差，如 2.5D hm. 在 HIC 上 31.35→61.05）。\n- 交叉验证：4.3 节 “TransNet: Bad effect of the 2D-based weak supervision” 段落与 Table 3 数值一致。\n- 结论：论文内证据链完整一致。\n\n## G8. IntagHand [^14] 采用图像输入并使用 2D 弱监督估计相对平移。\n\n- 论文内定位：第 1 节（“the 2D-based weak supervision for the 3D relative translation, used in IntagHand [^14] (Fig. 3 (a))”）；4.3 节（“similar to IntagHand [^14]”）；4.4 节（IntagHand 额外使用 segmentation 与 DensePose）。\n- 外部来源：参考文献 [^14]（Li et al., Interacting attention graph for single image two-hand reconstruction, CVPR 2022）。\n- 结论：一致，可信。\n\n## G9. 成人手掌尺寸约 15 cm（用于论证相对平移尺度弱约束）。\n\n- 论文内定位：第 1 节与 4.3 节（“the size of adults' hands is usually around 15 cm”）。\n- 外部来源：人体测量学常识（手长通常约 17–19 cm、掌宽约 8–10 cm，15 cm 属合理量级近似）。\n- 结论：量级合理，但为近似表述，非精确引用。\n\n## G10. 前人方法（IHMR [^25]、Zhang et al. [^32]、IntagHand [^14]）公开模型仅在 IH2.6M 训练且训练代码不可用，作者基于其测试代码重训于 IH2.6M+MSCOCO 以公平对比。\n\n- 论文内定位：4.4 节（“Publicly released models of previous works in Table 5 are trained only on IH2.6M, and their training codes are not available. Therefore, we reproduced their networks based on their testing codes and re-trained...”）。\n- 交叉验证：Table 5 数字与 Fig. 8 曲线趋势一致（HIC 上差距显著）。\n- 不确定性：复现验证承诺在补充材料给出（“We will verify our reproduce results in the supplementary material”），正文无法核对（见 U4）。\n\n### 2. 冲突与不确定性说明\n\n- **U1 发表渠道未标注**：文档内无会议/年份信息；从 CVPR 双栏版式与最新引用为 2022 年推断大概率为 CVPR 2023，需以原文页眉/页脚或官方记录确认。因此本提取中 publication_date 与 publication_venue 留空。\n- **U2 补充材料缺失**：DetectNet/SHNet 详细架构（第 3 节）、2D 弱监督实现（4.3 节）、复现验证（4.4 节）均指向 supplementary material，当前输入缺失，无法核对。\n- **U3 代码链接不完整**：摘要脚注 1 称代码公开，但文档未给出具体 URL（外部可查 GitHub 仓库，但不在文档内，无法在本文档内验证）。\n- **U4 对比公平性风险**：(a) 前人方法由作者基于测试代码重训，复现质量依赖补充材料；(b) 前人方法推理用 GT hand boxes，本文用 DetectNet 预测框（4.4 节），设置不同，虽对本文更不利，但 DetectNet 自身检测精度未单独报告；(c) Keypoint Transformer [^6] 因加入 MSCOCO 后相机参数损失缺 3D GT 而未纳入 Table 5，对比不完全。\n- **U5 IH2.6M 上单手输入收益小**：Table 1 中 IH2.6M 仅 11.36→11.12；作者解释为大规模交互数据缓解分布负担，并称减少 IH2.6M 交互样本后趋势与 HIC 一致，但该补充实验未在正文给出表格数据，无法直接核验。\n- **U6 文字与表格瑕疵**：4.1 节 “MSOCO” 应为 “MSCOCO” 的拼写错误；Table 6 中 AIH [^16] 的 MRRPE 为 N/A（该方法不输出双手相对平移）。\n- **U7 Fig. 5 统计细节不足**：2D 尺度分布的样本量、分箱方式未说明，“共享 2D 尺度空间”这一核心论据主要依赖图示。\n- **U8 评测口径**：评测不做尺度对齐（following Moon et al. [^20]，4.4 节），与其他做尺度对齐的工作比较时需注意口径差异。\n\n### 3. 参考文献列表（正文引用 [^1] [^2] [^3] [^4] [^5] [^6] [^7] [^8] [^9] [^10] [^11] [^12] [^13] [^14] [^15] [^16] [^17] [^18] [^19] [^20] [^21] [^22] [^23] [^24] [^25] [^26] [^27] [^28] [^29] [^30] [^31] [^32] [^33] [^34]）\n\n- [^1] L. Ballan et al. Motion capture of hands in action using discriminative salient points. ECCV 2012.\n- [^2] H. Choi, G. Moon, K. M. Lee. Pose2Mesh: Graph convolutional network for 3D human pose and mesh recovery from a 2D human pose. ECCV 2020.\n- [^3] H. Choi, G. Moon, J. Park, K. M. Lee. Learning to estimate robust 3D human mesh from in-the-wild crowded scenes. CVPR 2022.\n- [^4] X. Di, P. Yu. LWA-HAND: Lightweight attention hand for interacting hand reconstruction. ECCV 2022.\n- [^5] Z. Fan et al. Learning to disambiguate strongly interacting hands via probabilistic per-pixel part segmentation. 3DV 2021.\n- [^6] S. Hampali et al. Keypoint transformer: Solving joint identification in challenging hands and object interactions for accurate 3D pose estimation. CVPR 2022.\n- [^7] Y. Hasson et al. Learning joint reconstruction of hands and manipulated objects. CVPR 2019.\n- [^8] K. He, X. Zhang, S. Ren, J. Sun. Deep residual learning for image recognition. CVPR 2016.\n- [^9] S. Jin et al. Whole-body human pose estimation in the wild. ECCV 2020.\n- [^10] D. U. Kim, K. I. Kim, S. Baek. End-to-end detection and pose estimation of two interacting hands. ICCV 2021.\n- [^11] M. Kocabas et al. PARE: Part attention regressor for 3D human body estimation. ICCV 2021.\n- [^12] N. Kolotouros et al. Learning to reconstruct 3D human pose and shape via model-fitting in the loop. ICCV 2019.\n- [^13] T. Kwon et al. H2O: Two hands manipulating objects for first person interaction recognition. ICCV 2021.\n- [^14] M. Li et al. Interacting attention graph for single image two-hand reconstruction. CVPR 2022.\n- [^15] T.-Y. Lin et al. Microsoft COCO: Common objects in context. ECCV 2014.\n- [^16] H. Meng et al. 3D interacting hand pose estimation by hand de-occlusion and removal. ECCV 2022.\n- [^17] G. Moon, H. Choi, K. M. Lee. Accurate 3D hand pose estimation for whole-body 3D human mesh estimation. CVPRW 2022.\n- [^18] G. Moon, H. Choi, K. M. Lee. NeuralAnnot: Neural annotator for 3D human mesh training sets. CVPRW 2022.\n- [^19] G. Moon, K. M. Lee. I2L-MeshNet: Image-to-Lixel prediction network for accurate 3D human pose and mesh estimation from a single RGB image. ECCV 2020.\n- [^20] G. Moon, S.-I. Yu, H. Wen, T. Shiratori, K. M. Lee. InterHand2.6M: A dataset and baseline for 3D interacting hand pose estimation from a single RGB image. ECCV 2020.\n- [^21] F. Mueller et al. Real-time pose and shape reconstruction of two interacting hands with a single depth camera. ACM TOG 2019.\n- [^22] I. Oikonomidis, N. Kyriazis, A. A. Argyros. Tracking the articulated motion of two strongly interacting hands. CVPR 2012.\n- [^23] J. Romero, D. Tzionas, M. J. Black. Embodied Hands: Modeling and capturing hands and bodies together. ACM TOG 2017.\n- [^24] Y. Rong, T. Shiratori, H. Joo. FrankMocap: A monocular 3D whole-body pose estimation system via regression and integration. ICCV Workshop 2021.\n- [^25] Y. Rong, J. Wang, Z. Liu, C. C. Loy. Monocular 3D reconstruction of interacting hands via collision-aware factorized refinements. 3DV 2021.\n- [^26] J. Song, X. Chen, O. Hilliges. Human body model fitting by learned gradient descent. ECCV 2020.\n- [^27] X. Sun et al. Integral human pose regression. ECCV 2018.\n- [^28] J. Taylor et al. Efficient and precise interactive hand tracking through joint, continuous optimization of pose and correspondences. ACM TOG 2016.\n- [^29] D. Tzionas et al. Capturing hands in action using discriminative salient points and physics simulation. IJCV 2016.\n- [^30] A. Vaswani et al. Attention is all you need. NeurIPS 2017.\n- [^31] J. Wang et al. RGB2Hands: Real-time tracking of 3D hand interactions from monocular RGB video. ACM TOG 2020.\n- [^32] B. Zhang et al. Interacting two-hand 3D pose and shape reconstruction from single color image. ICCV 2021.\n- [^33] H. Zhang et al. Learning 3D human shape and pose from dense body parts. TPAMI 2020.\n- [^34] Y. Zhou et al. Monocular real-time hand shape and motion capture using multi-modal data. CVPR 2020.\n\n\n\n## 模块 H：图表与表格抽取（索引/打分/深读） / Module H: Figure/Table Mining (index, scoring, top deep dive)\n\n## Module H：图表提取与索引\n\n### 1. 图表完整索引\n\n#### 1.1 图索引（Figures）\n\n| 编号 | 标题/内容 | 类型 | 位置 | 支持的论断 | 重要度(1-5) |\n|---|---|---|---|---|---|\n| Fig. 1(a) | MSCOCO 中单手 vs 交互手数量统计（两手指 IoU>0.1 即视为交互） | 统计柱状图 | 第 1 节 | 即使放宽 IoU 阈值，ITW 数据集中 2D 交互手数据仍极少，而大规模 2D 单手数据可得，构成方法动机 | 5 |\n| Fig. 1(b) | 2D 弱监督对 3D 相对平移的失败案例 | 机理示意图 | 第 1 节 | 当为弱监督估计的 3D 全局平移错误（图中①）时，3D 相对平移被监督为错误值（橙色箭头）；根因是相对平移的 3D 尺度缺乏类似 MANO 形状参数的强约束 | 5 |\n| Fig. 2 | 第一子问题（左右手各自 3D 网格估计）的 mini-batch 输入策略对比：(a) 前人交互时用双手图，(b) 本文一律用单手图 | 策略对比示意图 | 第 1 节 | 单手裁剪输入把 MoCap 交互手样本归一化到 ITW 单手的 2D 尺度空间，形成共享 2D 尺度域 | 5 |\n| Fig. 3 | 第二子问题（两手 3D 相对平移估计）的 mini-batch 输入策略对比：(a) 前人图像输入+2D 弱监督，(b) 本文仅几何特征输入 | 策略对比示意图 | 第 1 节 | 仅用对外观不变的几何特征，使 MoCap 与 ITW 样本进入共享外观不变空间，规避外观鸿沟 | 5 |\n| Fig. 4 | InterWild 总体流水线：DetectNet 检测手框→从高分辨率人体图裁剪缩放→SHNet 输出每只手 3D 网格与 2.5D 热图→TransNet 输出 3D 相对平移→左手网格加平移得最终结果 | 系统流水线图 | 第 3 节 | 完整方法结构；最终 3D 交互双手 = 右手网格 M_r 与（左手网格 M_l + 相对平移 t）（3.3 节） | 5 |\n| Fig. 5 | 各手宽高均值（按输入图尺寸归一化，框先调整为长宽比 1）：黄=IH2.6M 双手图中的每只手（前人），棕=IH2.6M 单手裁剪（本文），绿=MSCOCO 单手 | 统计分布图 | 3.1 节 | 双手图裁剪的单手 2D 尺度分布与 ITW 单手差异巨大；单手裁剪后两者分布几乎一致，为 SHNet 单手输入设计提供量化依据 | 5 |\n| Fig. 6 | TransNet 流水线：对左右手 2.5D pose 施加 2D 仿射变换到双手框并集空间→转 2.5D 高斯热图→ResNet-18→在手腕 2D 位置双线性插值提取特征→与 2D 手腕坐标拼接→线性层回归 t | 网络结构图 | 3.2 节 | TransNet 的几何输入与手腕特征提取设计；热图 D=H=W=64；ResNet-18 去掉首个卷积块与末端全连接层；特征图通道 C=512、空间 H/8×W/8 | 5 |\n| Fig. 7 | 严重重叠时 SHNet 的 2.5D 姿态对比：(a) 左右手原图输入，(b) 左手翻转输入（输出再翻回） | 定性可视化 | 4.3 节（Table 2 旁） | 不翻转时左右输入几乎相同导致输出几乎相同的两只手；翻转相当于隐式去遮挡，可恢复被遮挡手的正确 3D 结果 | 4 |\n| Fig. 8 | HIC 上按阈值 τ 的累计误差曲线（对 x 轴值大于 τ 的样本计算 MPVPE/MRRPE），对比 IHMR、Zhang et al.、IntagHand | 定量曲线图 | 4.4 节 | 在任意阈值下 InterWild 的 MPVPE 与 MRRPE 均低于前人方法，说明鲁棒性优势普遍成立而非依赖个别样本 | 4 |\n| Fig. 9 | MSCOCO 验证集上 InterWild 与 IntagHand 定性对比（本文用 DetectNet 预测框，IntagHand 用 GT 框） | 定性对比图 | 4.4 节 | InterWild 能从 ITW 图像成功恢复 3D 网格，而前人 SOTA（IntagHand）失败，直观展示野外泛化优势 | 4 |\n\n#### 1.2 表索引（Tables）\n\n| 编号 | 标题/内容 | 类型 | 位置 | 关键数据 | 支持的论断 | 重要度(1-5) |\n|---|---|---|---|---|---|---|\n| Table 1 | SHNet 交互时输入双手图 vs 单手图的 MPVPE 对比（非交互时均用单手图）；每格左/右数=单手/交互手序列误差 | 消融定量表 | 4.3 节 | HIC：29.80/35.86 → 15.65/15.70；IH2.6M：11.36/13.20 → 11.12/13.01 | 单手输入在野外（HIC）大幅降低误差（交互序列约降 56%），在 IH2.6M 略优；IH2.6M 差距小是因大规模交互数据可缓解尺度负担（作者减少 IH2.6M 交互样本后复现了 HIC 趋势，见 4.3 节正文） | 5 |\n| Table 2 | SHNet 翻转与权重共享消融（MPVPE）：无翻转/共享权重、无翻转/分离权重、有翻转/共享权重（本文） | 消融定量表 | 4.3 节 | HIC：15.80/17.36、15.34/16.96、15.65/15.70；IH2.6M：12.54/18.21、11.48/13.77、11.12/13.01 | 翻转左手对交互手序列误差影响最大；翻转已归一化利手，故与分离权重不可组合 | 4 |\n| Table 3 | TransNet 四种输入（Img、Img+2.5D hm、2D hm、2.5D hm）× 是否 2D 弱监督的 MRRPE 对比 | 消融定量表（全文核心） | 4.3 节 | 2.5D hm 无弱监督：HIC 31.35 / IH 29.29（本文最优）；Img 无弱监督：HIC 206.83 / IH 27.67；启用弱监督后所有输入一致变差（如 2.5D hm：31.35→61.05、29.29→33.91） | 几何输入消除外观鸿沟（图像输入在 HIC 崩坏）；2D 弱监督因相对平移尺度弱约束，对所有输入、两个基准一致有害 | 5 |\n| Table 4 | TransNet 特征提取方式消融（MRRPE）：GAP vs 全关节特征 vs 手腕特征（本文） | 消融定量表 | 4.3 节 | HIC：39.85 / 48.99 / 31.35；IH2.6M：29.14 / 31.57 / 29.29 | 显式手腕特征优于前人广泛使用的 GAP；全关节特征因冗余信息反而最差 | 4 |\n| Table 5 | 与 3D 交互手网格恢复 SOTA 对比（MPVPE 与 MRRPE）：IHMR、Zhang et al.、IntagHand、InterWild | SOTA 对比表 | 4.4 节 | HIC MPVPE：30.76/46.38、23.53/31.79、18.83/27.31、15.65/15.70；HIC MRRPE：119.64、110.25、52.46、31.35；IH2.6M 上 InterWild 亦最优（11.12/13.01、29.29） | InterWild 在 HIC 与 IH2.6M 上全面超越现有方法，且 HIC 上差距尤其大，证明野外鲁棒性来自共享域设计（Fig. 2、Fig. 3） | 5 |\n| Table 6 | 与 3D 交互手姿态估计方法 AIH 在 HIC 上对比（MPJPE 与 MRRPE） | SOTA 对比表 | 4.4 节 | AIH：76.83/36.05（MRRPE N/A）；InterWild：16.00/16.17、31.35 | 即使 AIH 使用额外合成数据（仍基于 IH2.6M 构建、存在外观鸿沟），InterWild 仍大幅领先 | 3 |\n\n**缺失说明**：正文多处指向 supplementary material（DetectNet/SHNet 详细架构见第 3 节；2D 弱监督实现见 4.3 节；复现验证见 4.4 节），当前输入不含补充材料，相关图表无法索引，深读引用这些结论时需注明边界。\n\n### 2. 优先深读清单（Top-priority deep reads，5 项）\n\n1. **Table 3（配合 Fig. 3 与 Fig. 1(b)）——第二子问题核心证据**。深读要点：四种输入设置的信息量差异（图像 / 图像+2.5D 热图 / 2D 热图 / 2.5D 热图）；图像输入在 IH2.6M 好（27.67）但在 HIC 崩坏（206.83）的两个原因——无弱监督时的外观鸿沟、有弱监督时的尺度歧义；弱监督具体实现在补充材料（缺失），引用该结论时应注明。\n2. **Fig. 5 + Table 1 + Fig. 2——第一子问题证据链**。深读要点：2D 尺度统计的测量协议（框扩展为长宽比 1、按输入图尺寸归一化）；HIC 与 IH2.6M 消融幅度差异的解释（IH2.6M 大规模交互数据缓解尺度负担，作者通过减少其交互样本复现 HIC 趋势，见 4.3 节）；双手图设置下 SHNet 输出层加倍的实现细节。\n3. **Fig. 4 + Fig. 6——复现必备结构图**。深读要点：DetectNet/SHNet 沿用 Pose2Pose [^17]（细节在补充材料）；裁剪前框宽高加倍以防漏手并提供上下文；左手水平翻转统一为右手、在批量维拼接并行处理；2D 仿射变换到并集手框空间且不改变各手根关节相对深度；2.5D 高斯热图尺寸 2J×64×64×64；ResNet-18 去掉第一个卷积块与最后全连接层；手腕位置双线性插值特征与 2D 手腕坐标拼接后经线性层输出 t。\n4. **Table 5 + Fig. 8 + Table 6——SOTA 对比与公平性审视**。深读要点：前人公开模型仅在 IH2.6M 训练且训练代码不可得，作者基于其测试代码重训并加入 MSCOCO（复现验证在补充材料）；前人推理用 GT 手框而本文用 DetectNet 预测框（设定对本文更严）；不与 GT 做尺度对齐（遵循 Moon et al. [^20]）；Keypoint Transformer [^6] 因相机参数损失需要 3D GT、无法纳入 MSCOCO 训练而未列入 Table 5。\n5. **Fig. 7 + Table 2——翻转策略机理**。深读要点：严重重叠时左右输入几乎相同导致输出退化的问题；翻转 = 利手归一化 + 隐式去遮挡的双重作用；与双输出头变体的对比及该变体失败的原因（未归一化利手）；翻转与分离权重不可组合的约束条件。\n\n### 3. 图关系与实验设置图（文字化）\n\nFig. 4 是全图枢纽：Fig. 2/Fig. 3 解释其两个输入策略动机，Fig. 5 提供策略一的统计依据，Fig. 6 展开 TransNet 内部结构，Fig. 7/Table 1/Table 2 消融 SHNet，Table 3/Table 4 消融 TransNet，Table 5/Table 6/Fig. 8/Fig. 9 汇总为最终性能证据。\n\n``n输入图像\n └─ DetectNet（手框检测；架构沿用 Pose2Pose [17]，细节在补充材料）\n     └─ 裁剪&缩放（框宽高加倍；左手水平翻转→输入统一为右手图）\n         └─ SHNet（3.1 节；输入策略见 Fig. 2(b)；尺度依据见 Fig. 5；消融见 Table 1/2；定性见 Fig. 7）\n             ├─ 输出 A：右手网格 M_r、左手网格 M_l（经 MANO 层，根关节相对坐标）\n             └─ 输出 B：2.5D pose P_l、P_r（xy=像素坐标，z=根关节相对深度）\n                 └─ 2D 仿射变换→并集双手框空间（P_l'、P_r'；不改变深度）\n                     └─ 2.5D 高斯热图 H（2J×64×64×64）→ ResNet-18（去首卷积块/末 FC；C=512）\n                         └─ 手腕 2D 位置双线性插值特征 + 2D 手腕坐标 → 线性层 → 3D 相对平移 t\n                             （结构见 Fig. 6；输入消融见 Table 3；特征消融见 Table 4）\n最终输出：M_r 与（M_l + t）（3.3 节；总览见 Fig. 4）\n\n训练设置（4.1 节）：mini-batch = 1/2 IH2.6M + 1/2 MSCOCO whole-body；\n端到端 L1 损失：检测框、MANO 参数、3D 关节坐标、3D 相对平移；\n3D 相对平移仅由 MoCap（IH2.6M）监督（2D 弱监督的负面影响见 Table 3）\n评测设置（4.2–4.4 节）：主测试集 HIC（未见外观，考察泛化）；辅以 IH2.6M；定性用 MSCOCO（Fig. 9）；\n指标：MPVPE/MPJPE（单手网格/关节，根关节平移对齐）、MRRPE（两手根相对位置）；\n不做尺度对齐；前人用 GT 手框推理，本文用 DetectNet 预测框\n``n\n\n### 4. 图表 → 结论映射\n\n| 论文结论 | 支撑图表 | 证据类型与关键定位 |\n|---|---|---|\n| 结论 1：ITW 交互手 2D/3D 数据极度稀缺，是野外 3D 交互手恢复的根本瓶颈 | Fig. 1(a) | 统计证据（第 1 节；IoU>0.1 宽阈值下交互手仍极少） |\n| 结论 2：单手输入使所有手进入共享 2D 尺度空间，野外提升显著 | Fig. 2、Fig. 5、Table 1、Table 5 | 示意+统计+消融+SOTA（3.1 节、4.3 节、4.4 节；HIC 交互序列 MPVPE 35.86→15.70） |\n| 结论 3：翻转左手实现利手归一化与隐式去遮挡，对严重交互至关重要 | Fig. 7、Table 2 | 定性+消融（4.3 节；HIC 交互序列 17.36/16.96→15.70） |\n| 结论 4：仅用几何特征（2.5D 热图）估计 3D 相对平移可消除外观鸿沟 | Fig. 3、Table 3、Table 5（MRRPE 列） | 示意+消融+SOTA（3.2 节、4.3 节；HIC MRRPE 31.35 vs 图像输入 206.83） |\n| 结论 5：2D 弱监督对 3D 相对平移一致有害（尺度弱约束+全局平移歧义） | Fig. 1(b)、Table 3 | 机理+消融（第 1 节、4.3 节；所有输入、两个基准均变差） |\n| 结论 6：显式手腕特征优于 GAP 与全关节特征 | Fig. 6、Table 4 | 结构+消融（3.2 节、4.3 节；HIC 31.35 vs 39.85/48.99） |\n| 结论 7：InterWild 在 HIC/IH2.6M 全面 SOTA，野外优势尤其显著 | Table 5、Fig. 8、Table 6、Fig. 9 | SOTA+阈值曲线+定性（4.4 节；HIC MRRPE 31.35 vs IntagHand 52.46） |\n\n**图表阅读依赖顺序建议**：Fig. 4 → Fig. 2/Fig. 3（动机）→ Fig. 5（统计依据）→ Fig. 6（TransNet 细节）→ Table 1/2（SHNet 消融）→ Table 3/4（TransNet 消融）→ Table 5/6 + Fig. 8/9（最终对比）。"
}