{
  "paper_id": "e7244f0ab59129c53a7b7652feddbbda",
  "paper_title": "Extract-and-Adaptation Network for 3D Interacting Hand Mesh Recovery",
  "paper_authors": [
    "JoonKyu Park",
    "Daniel Sungho Jung",
    "Gyeongsik Moon",
    "Kyoung Mu Lee"
  ],
  "publication_date": "",
  "publication_venue": "2023 IEEE/CVF International Conference on Computer Vision Workshops (ICCVW)",
  "abstract": "理解双手如何交互是准确恢复三维交互手网格的关键。然而，近期基于 Transformer 的方法直接将双手特征作为输入 token，导致远距离 token 问题：输入 token 位于异构空间，使 Transformer 难以捕获它们之间的关联。该问题在双手姿态差异较大时尤为明显，因为已有方法会将骨干网络特征投影为分离的左手和右手专用特征。本文提出提取与适配网络 EANet，其核心组件为 EABlock。EABlock 不直接使用双手特征，而是使用两种互补的新 token——SimToken 和 JoinToken。二者均由分离的双手特征组合得到，因此对远距离 token 问题更鲁棒；EABlock 可借此有效提取交互特征并将其适配到每只手。EANet 在三维交互手基准上达到了当前最优性能，代码开放于 <https://github.com/jkpark0825/EANet>。\n",
  "keywords": [
    "三维交互手网格恢复",
    "EANet",
    "EABlock",
    "FuseFormer",
    "SimToken",
    "JoinToken",
    "Transformer",
    "远距离 token 问题",
    "交叉注意力",
    "MANO",
    "InterHand2.6M",
    "HIC"
  ],
  "paper_institutions": [
    "Dept. of ECE&ASRI, Seoul National University, Korea",
    "IPAI, Seoul National University, Korea",
    "SNU-LG AI Research Center",
    "Meta Reality Labs Research"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:31:21.360803Z",
  "template_tag": "deep_read",
  "summary": "# Extract-and-Adaptation Network for 3D Interacting Hand Mesh Recovery\n\n\n**作者 / Authors:** JoonKyu Park, Daniel Sungho Jung, Gyeongsik Moon, Kyoung Mu Lee\n\n\n**单位 / Institutions:** Dept. of ECE&ASRI, Seoul National University, Korea, IPAI, Seoul National University, Korea, SNU-LG AI Research Center, Meta Reality Labs Research\n\n\n\n**输出语言 / Output Language:** zh\n\n\n\n**发表日期 / Publication Date:** 未在文档中明确（待外部核验）\n\n\n\n**期刊/会议 / Publication Venue:** 未在文档中明确（待外部核验）\n\n\n## 第一轮：问题与贡献\n\n\n### 材料与类型\n\n材料检查：所给材料为论文正文，包含摘要、引言、相关工作、方法、实验与参考文献；未包含附录/补充材料。摘要给出代码链接 <https://github.com/jkpark0825/EANet，但本次未访问代码；InterHand2.6M> 与 HIC 数据集仅依据文中描述，未直接核查数据协议。文档未明确发表 venue 与日期，需外部核验；正文提到姿态差异计算放在补充材料（Sec 4.4/Fig 9 附近），该补充材料未提供。\n原型判定：method。理由：核心贡献是 EANet/EABlock/FuseFormer 的网络结构与 token 设计，并用基准实验验证；不是 survey，也不是以部署、系统集成为主的 system 论文。\n影响解释的缺口：补充材料缺失使 Fig 9 的 pose difference 定义无法核验；代码与训练细节未检查，复现成本与实现差异需待核验；venue/date 未给出，版本信息待核验。\n\n\n\n\n\n### 问题\n\n问题：从单张 RGB 图像恢复双手交互的 3D 手部网格，即估计左右手 MANO 姿态/形状参数、相对平移并重建顶点；关键是捕获两手之间的交互上下文（Sec 1）。这关系到 AR/VR 与自然人机交互中的沉浸式体验。\n现有方法的主要不足：Transformer 类方法直接把左右手特征作为输入 token，形成 distant token problem。Keypoint Transformer 不分离 backbone 特征，虽避免异质 token，但失去左右手分离带来的鲁棒性与分支专精（Fig 1a，Table 1 第一行）。IntagHand 等把 backbone 特征投影为左右手专用特征后再作为 token，虽保留分离好处，却把 token 放入异质空间；当两手姿态差异大时，Transformer 难以捕捉跨手相关性（Fig 1b、Fig 2b、Sec 1）。因此需要既保留左右手分离、又让输入 token 位于同质空间并包含双手信息的机制。\n形式化目标（若有助于界定问题）：给定图像 I，估计 θ_L、θ_R、β_L、β_R 与双手相对平移，训练时最小化对 θ、β、2.5D 关节 J、顶点 V 和相对平移的 L1 加权和（Sec 3.5）。\n\n\n\n\n\n### 概览与阅读路线\n\n一句话概述：EANet 通过 EABlock 中的 FuseFormer 生成 SimToken 与 JoinToken，先抽取双手交互特征再适配到左右手，从而在保留左右手特征分离的同时缓解 distant token problem。\n核心思路与贡献：1) 不再直接把 F_L、F_R 作为 Transformer token；SimToken 由 SA Transformer 对拼接的左右手特征加 class token 得到，JoinToken 由全连接层对拼接并 reshape 的左右手特征得到，二者位于同质空间且互补（Sec 3.2、Fig 5）。2) FuseFormer 的 CA 以 JoinToken 为 query、SimToken 为 key/value；作者论证反向使用会造成 query-key 相关性与 value 不匹配，Table 3 最后一行优于反向与单 token 变体（MPJPE All 10.58 vs 11.44/11.40/12.71）。3) EABlock 分 extract 与 adaptation：extract 得 F_inter，adaptation 用两个 FuseFormer 分别融合 F_inter 与 F_L/F_R，再与对应手特征拼接，得到 F_L*/F_R*（Sec 3.2、Fig 4）。4) 后续 joint feature extractor 用 2.5D heatmap + soft-argmax + grid sampling，SJT 增强单手关节特征，MANO 回归器输出网格（Sec 3.3–3.5）。\n最重要结果与条件：作者声称在 InterHand2.6M 与 HIC 上达到 SOTA。Table 5 中 EANet 在 InterHand2.6M 的 MPVPE All 为 5.45，Keypoint Transformer 为 11.94；与 IntagHand 的 Two 手比较为 6.34 vs 9.03；EANet Light 以 33.90M 参数在 Two 手 MPVPE 7.66 优于 IntagHand 的 9.03。Table 6 中 HIC MPVPE All 33.80，Keypoint Transformer 54.71；MRRPE 81.11 vs 190.77。支持范围：InterHand2.6M 使用 H+M split 做 SOTA 比较，HIC 仅用于评估；MPVPE 按前作在网格与 GT 做 scale alignment 后测量；Table 1–4 的消融使用 H split。作者还以 Fig 9 声称对非对称姿态更鲁棒，但其 pose difference 定义在未提供的补充材料中。以上为作者主张与表内证据；缺少统计显著性、跨数据集训练/评估细节与补充材料，不能外推到未测试场景。\n优先章节/图表与下一轮问题：优先 Sec 3.2、Fig 5、Table 3 核对 token 构造与 CA 方向；Table 1–2、Table 4 核对 EABlock/adaptation/SJT 的增益；Table 5–6 核对公平比较与参数量；Fig 8–9 核对注意力与姿态差异鲁棒性。下一轮需回答：SimToken/JoinToken 的精确维度与 reshape 细节、CA 的 l×c 与 hw×c 对齐方式、损失权重与训练策略、EANet Light 的通道设置是否只改 c=C/8、以及补充材料中的 pose difference 定义。下一轮将拆解 FuseFormer 的 token 构造与 CA 方向选择，并核对实验条件。\n\n\n\n\n## 第二轮：方法与证据\n\n\n### 方法与公式\n\n输入与总体流程：输入图像 I∈R^{256×256×3}，ResNet-50（ImageNet 预训练）提取 F∈R^{h×w×C}，其中 h=H/32、w=W/32、C=2048；两个独立的 1×1 卷积把 F 投影为左手特征 F_L 与右手特征 F_R，二者均为 R^{h×w×c}，c=C/4（Sec.3.1）。之后依次经过 EABlock、joint feature extractor、SJT、regressor 与 MANO 层。\n\nEABlock 的 extract 阶段（Sec.3.2、Fig.5）：先把 F_L、F_R 从 h×w×c reshape 为 hw×c，拼接后再加入可学习的 class token t_cls∈R^{1×c}，得到 t∈R^{l×c}，l=hw+hw+1。用独立线性层得到 q_SA、k_SA、v_SA，按标准自注意力计算：式(1) Attn(q_SA,k_SA,v_SA)=softmax(q_SA k_SA^T/√d_kSA) v_SA；式(2) r=t+Attn；式(3) t_S=r+MLP(r)。因此 SimToken t_S∈R^{l×c}，由相似度/自注意力聚合双手信息。JoinToken 不依赖相似度：把 F_L、F_R 按通道拼成 h×w×2c，经 ψ（拼接+reshape）变成 hw×2c，再过一个 FC，得到 t_J=FC(ψ(F_L,F_R))∈R^{hw×c}；FC 的隐藏维未报告。\n\nCA 融合：q_CA 取自 t_J（hw×c），k_CA、v_CA 取自 t_S（l×c），按同一注意力式输出 F_inter∈R^{hw×c}，即 F_inter=FuseFormer(F_L,F_R;W_extract)。作者用 JoinToken 作 query 的理由是避免 query-key 相关性与 value 失配：当双手姿态差异大时，SimToken 可能退化为前半主要含左手、后半主要含右手；若以 SimToken 为 query，某个主要含左手信息的 query 会用“与左手相似度”去取来自 JoinToken 的 value，而 value 可能含右手信息，造成不匹配。JoinToken 的每个元素含双手信息，因此 query-key 相关性不被单手固定，能缓解该问题。直观例子：左手与右手姿态差异很大时，JoinToken 仍给 CA 提供混合双手信息的 query，而 SimToken 提供更细的相似度结构作为 key/value。\n\nAdaptation 阶段：F_interL=FuseFormer(F_L,F_inter;W_adaptL)，F_interR=FuseFormer(F_R,F_inter;W_adaptR)。为降算力，各自经 FC 把通道 c 降到 c/4，reshape 为 h×w×c/4，再与对应 F_L/F_R 做通道拼接，得到 F_L*、F_R*；最终通道数文中未明示，按描述为 c+c/4，属推断。\n\n必要的后续模块：joint feature extractor 对 F_L*/F_R* 做 1×1 卷积到 dJ 通道，reshape 成 h×w×d×J 的 2.5D heatmap（d=8，J 为关节数），再用 soft-argmax 得 2.5D 关节坐标 J_L/J_R；以 J_L/J_R 的 (x,y) 在 F_L*/F_R* 上做 grid sampling，得每手关节特征 F_JL/F_JR。SJT 是标准 SA Transformer，对每手关节特征单独增强，得 F_JL*/F_JR*；它与 FuseFormer 目标不同：FuseFormer 融合两类输入特征，SJT 只增强单类特征。回归器：姿态 θ（48 维）由 F_JL*/F_JR* 与 J 拼接、展平后经 FC 预测；形状 β（10 维）由 F_L*/F_R* 经 GAP+FC 预测；双手相对平移由 F_L*、F_R* 拼接+GAP+FC 预测；MANO 层输出 V_L、V_R。训练损失为 θ、β、J、V 与相对平移的 L1 加权和，权重未报告（Sec.3.5）。\n\n\n\n\n\n### 评测设置\n\n数据集与评测协议：InterHand2.6M 用于训练与评测；与 SOTA 比较用 H+M split 的 SH+IH 图像，消融用 H split 的 SH+IH 图像（Sec.4.2）。HIC 只用于评估，不参与训练，用来测试自然光照与更复杂背景下的泛化（Sec.4.2）。指标为 MPJPE、MPVPE、MRRPE，单位毫米；MPVPE 按前作在网格与 GT 做 scale alignment 后测量（Sec.4.4）。\n\n训练环境：PyTorch、Adam，每 GPU batch size 32，4×RTX 2080 Ti；InterHand2.6M 训练 30 epochs，初始学习率 1×10^-4，第 10、15 epoch 退火（Sec.4.1）。EANet Light 仅把通道 c=C/8 替代 C/4（Sec.4.4）。\n\n基线：Zhang et al.、Keypoint Transformer、IntagHand；Table5 同时比较参数量。Keypoint Transformer 的 MPVPE 因原稿没有该数值，作者用其官方代码与预训练权重测得（Sec.4.4），这带来实现与权重版本的可比性风险。IntagHand 参数量更少（39.04M），因此作者设 EANet Light（33.90M）做近似参数比较。\n\n缺失与潜在不公平：损失权重、数据增强、裁剪/输入预处理、随机种子与误差棒、推理时延/FLOPs、HIC 的详细评测协议均未报告；Fig.9 的 pose difference 定义在未提供的补充材料中；HIC 仅评估，不能证明跨数据集训练泛化；部分基线缺 Single/All 或 MRRPE，表中“-”不能当作零；未报告统计显著性。EANet 全模型 106.82M 参数明显大于 IntagHand，因此 Table5 的全模型比较不是等参数比较，作者用 Light 版缓解但未给计算量。\n\n\n\n\n\n### 结果与证据\n\n核心结果：InterHand2.6M（H+M、SH+IH）Table5 中，EANet 的 MPVPE 为 Single 4.81、Two 6.34、All 5.45，MRRPE 28.54；Keypoint Transformer 的 MPVPE All 11.94、MRRPE 30.87；IntagHand 的 MPVPE Two 9.03。EANet Light 以 33.90M 参数取得 MPVPE Two 7.66、All 6.53、MRRPE 34.29，仍优于 IntagHand 的 Two 9.03；EANet 全模型为 106.82M。HIC Table6 中，EANet 的 MPVPE 为 Single 32.82、Two 34.43、All 33.80，MRRPE 81.11；Keypoint Transformer 为 54.71/190.77；IntagHand 的 Two 为 45.74。\n\n决定性消融：Table1 从“不分离且无 EABlock”到“分离且无 EABlock”再到“分离+EABlock”，MPJPE All 为 15.32→13.53→10.58，MPVPE All 为 12.80→12.28→9.13，支持“分离+EABlock”的组合收益。Table2 用 EABlock 替换 CA/SA：CA 13.53/12.28、SA 12.47/10.75、EABlock 无 adaptation 11.25/9.61、EABlock full 10.58/9.13（MPJPE/MPVPE All），支持 EABlock 与 adaptation 的增量。Table3 对核心 token 设计最关键：q=t_J、kv=t_S 为 10.58/9.13；反向 q=t_S、kv=t_J 为 11.44/9.79；单 t_S 为 11.40/9.75；单 t_J 为 12.71/10.02；kv=F_L,F_R 为 11.63/10.00；无 CA 为 13.88/11.95，支持两 token 互补与 CA 方向选择。Table4 中 EABlock+SJT 为 10.58/9.13，优于仅 EABlock 11.02/9.83、仅 SJT 12.04/10.28、基线 12.20/11.28，支持 SJT 与 EABlock 的协同。\n\n证据边界：上述消融在 H split 上（Sec.4.2），单次报告，未给方差或显著性；Table5 全模型参数量差异大，Light 版只改通道，较接近但仍非完全等计算量；HIC 仅评估；MPVPE 依赖 scale alignment；Fig.9 的非对称姿态鲁棒性主张因 pose difference 定义缺失而待核验。因此，表内证据较强地支持“在给定基准与消融条件下 EABlock、两 token 与 CA 方向有效”，但不足以外推到任意交互场景、证明全面优于所有方法或证明部署成本更低。\n\n\n\n\n\n### 相关工作\n\n最接近的工作是 Keypoint Transformer 与 IntagHand。按作者描述：Keypoint Transformer 不把 backbone 特征拆成左右手专用特征，而直接把 backbone 特征作为 SA Transformer 的输入 token；它不受 distant token problem 影响，但放弃了左右手分离带来的鲁棒性与分支专精（Fig.1a、Table1 第一行的消融设定）。IntagHand 先把 backbone 特征投影为左右手专用特征，再把 F_L、F_R 直接作为 CA Transformer 的输入 token；它保留了分离，却把 token 放入异质空间，双手姿态差异大时跨手相关性难以捕捉（Fig.1b、Fig.2b、Sec.1）。EANet 的差别是：仍分离左右手特征，但不直接把 F_L、F_R 送入 Transformer，而由 EABlock/FuseFormer 先构造同质空间的 SimToken 与 JoinToken，再做 CA 抽取交互特征，并进一步把交互特征适配回左右手（Sec.3.2、Fig.4-5）。\n\n成本与条件：Table5 报告参数量——Zhang et al. 143.37M、Keypoint Transformer 117.05M、IntagHand 39.04M、EANet 106.82M、EANet Light 33.90M。EANet 比 IntagHand 参数多很多，因此作者用 EANet Light（c=C/8）做参数近似比较；但论文只给参数量与训练硬件（4×RTX 2080 Ti），未报告 FLOPs、推理时延或显存，不能据此判断部署成本。比较条件为 InterHand2.6M H+M split 的 SH+IH 图像，MPVPE 按前作做 scale alignment（Sec.4.2、4.4）。需要区分：上述对 Keypoint Transformer/IntagHand 机制的归类是本文的叙述；其代码实现、训练细节与外部可复现性未在本次材料中独立核验。Keypoint Transformer 的 MPVPE 还是作者用其官方代码与预训练权重补测的，存在版本与实现差异风险（Sec.4.4）。\n\n\n\n\n\n### 关键图表解读\n\n1) Fig.1（引言，架构对比）：对比 1a Keypoint Transformer 不分离特征、1b IntagHand 分离后直接把左右手特征作 token、1c EANet 用 SimToken/JoinToken 作输入 token。它支撑全文动机：直接使用左右手特征会造成 distant token problem，而 EANet 先构造同质 token。限制：这是概念示意图，不含定量证据；“Keypoint Transformer 不分离、IntagHand 异质 token”的归类是作者叙述，外部实现未核验。\n\n2) Fig.5（Sec.3.2，FuseFormer 的 extract 流程）：展示 SA Transformer 由 F_L、F_R 与 class token 生成 SimToken，FC 由拼接特征生成 JoinToken，再由 CA 以 t_J 为 query、t_S 为 key/value 输出 F_inter。它直接支撑核心创新“两互补 token + 特定 CA 方向”。限制：只画 extract 阶段，未覆盖 adaptation；图中未给全部维度，维度来自正文；CA 方向为何更优主要靠 Table3 而非图本身证明。\n\n3) Table1（Sec.4.3，整体架构消融）：三行分别是不分离且无 EABlock、分离且无 EABlock、分离+EABlock；MPJPE All 15.32→13.53→10.58，MPVPE All 12.80→12.28→9.13。它支撑“左右手分离有用，且 EABlock 解决分离带来的 distant token 问题”这一主 claim。限制：按 Sec.4.2 为 H split 消融，单次结果、无方差；不能把增益单独归因到某一 token 或 adaptation。\n\n4) Table3（Sec.4.3，CA 输入 token 消融）：比较 q=t_J/kv=t_S、反向、单 token、kv=F_L,F_R、无 CA 等设定；本文设定 10.58/9.13（MPJPE/MPVPE All）最优，反向 11.44/9.79，无 CA 13.88/11.95。它是“JoinToken 作 query、SimToken 作 key/value”与“两 token 互补”的最关键证据。限制：H split、单次报告；不同行是否完全同参数量/同训练预算未逐项说明，差异可能含实现细节。\n\n5) Table5 与 Table6（Sec.4.4，SOTA 比较）：Table5 在 InterHand2.6M 上给出 EANet MPVPE All 5.45 vs Keypoint Transformer 11.94，EANet Light 33.90M 的 Two 7.66 vs IntagHand 9.03；Table6 在 HIC 上给出 EANet All 33.80 vs Keypoint Transformer 54.71，MRRPE 81.11 vs 190.77。它们支撑“在挑战性基准上优于先前方法”的主 claim。限制：Table5 全模型参数量远大于 IntagHand，Light 版仅改通道；Keypoint Transformer 的 MPVPE 由官方代码重测；部分基线缺 Single/All；HIC 仅评估；无显著性、时延或跨数据集训练证据。\n\n过渡：消融整体支持 EABlock 与两 token 的机制有效性，但公平比较、鲁棒性定义与部署成本仍有边界，下一轮应据此评价其可复现性与主张强度。\n\n\n\n\n\n### 术语表\n\n核心术语与符号：\n\n- distant token problem（远距离 token 问题）：本文定义是左右手特征被投影到两个异质空间后，Transformer 的输入 token 难以建立跨手相关性；双手姿态差异越大越严重（Sec.1、Fig.2b）。它是全文要解决的核心问题，不是一般意义上的 token 数量多。\n- EABlock（Extract-and-Adaptation Block）：EANet 的主模块，分 extract 与 adaptation 两阶段；extract 用 FuseFormer 从双手特征抽交互特征，adaptation 再用两个 FuseFormer 把交互特征适配到左右手（Sec.3.2、Fig.4）。\n- FuseFormer：本文的 Transformer 融合块，含 SA Transformer、FC 与 CA Transformer；它先构造 SimToken 与 JoinToken，再用 CA 融合。注意它与引用[^24]的视频修复 FuseFormer 同名但不同。\n- SimToken t_S：由 SA Transformer 对拼接的 F_L、F_R 与 class token 做自注意力得到，维度 R^{l×c}，l=2hw+1；其 intuition 是用相似度聚合双手信息，双手姿态相近时更有效。\n- JoinToken t_J：把 F_L、F_R 按通道拼接、reshape 后经 FC 得到，维度 R^{hw×c}；不依赖点积相似度，因而在双手姿态差异大时仍可能保留双手联合信息，与 SimToken 互补。\n- Extract / Adaptation：extract 是 F_inter=FuseFormer(F_L,F_R)；adaptation 是 F_interL=FuseFormer(F_L,F_inter)、F_interR=FuseFormer(F_R,F_inter)，再把适配特征降通道并与对应手特征拼接得 F_L*、F_R*。\n- class token t_cls：可学习的一维 embedding，R^{1×c}，加入 SA 输入以学习双手整体信息（Sec.3.2）。\n- SA / CA Transformer：SA 为自注意力，query/key/value 来自同一 token 序列；CA 为交叉注意力，query 来自一个序列、key/value 来自另一个序列。本文 CA 的 query 来自 JoinToken，key/value 来自 SimToken。\n- 2.5D joint coordinates：x、y 在 2D 像素空间，z 为相对腕部根关节的深度；由 2.5D heatmap 经 soft-argmax 得到（Sec.3.3）。\n- 2.5D heatmap：维度 h×w×d×J，d=8 为离散深度层数，J 为关节数；每个关节在空间与深度上的热图。\n- soft-argmax：对热图做可微期望，把热图转成连续坐标；本文用于从 2.5D heatmap 得 J_L/J_R。\n- grid sampling：按预测的 (x,y) 在特征图上采样局部特征；本文用于从 F_L*/F_R* 得每手关节特征 F_JL/F_JR。\n- SJT（Self-joint Transformer）：标准 SA Transformer，对每手关节特征单独增强；作者称其可隐式考虑手部运动学结构。与 FuseFormer 的区别是只增强单类特征，不做双手融合。\n- MANO：参数化手部模型；本文回归 48 维姿态 θ 与 10 维形状 β，经 MANO 层得顶点 V_L、V_R。\n- MPJPE / MPVPE / MRRPE：平均关节位置误差、平均顶点位置误差、平均相对根位置误差，单位毫米；MPVPE 在网格与 GT 做 scale alignment 后测量。\n- H+M split / H split / SH+IH：InterHand2.6M 的数据划分与图像类型；SH 为单手图像，IH 为交互双手图像。本文 SOTA 比较用 H+M 的 SH+IH，消融用 H 的 SH+IH。\n- EANet Light：把通道 c 从 C/4 改为 C/8 的轻量版，用于与 IntagHand 做更接近的参数比较。\n- 符号：I 输入图像；F backbone 特征；F_L/F_R 左右手特征；h,w 特征图高宽；C backbone 通道；c 手特征通道；l=2hw+1；d=8 深度离散层数；J 关节数；θ 姿态；β 形状；V 顶点；ψ 拼接+reshape；FC 全连接层；MLP 多层感知机；GAP 全局平均池化。\n\n\n\n\n\n### 全部图表索引\n\nFigure 1（引言）：比较先前 Transformer 块与 EABlock 的输入 token 设计；支撑 distant token 问题动机。详细解读见 module_d。\nFigure 2（引言）：用 t-SNE 展示输入 token 分布，2b 先前方法在双手姿态不同时出现异质 token，2c 本文 SimToken/JoinToken 更同质；支撑问题诊断。图像细节未独立核验。\nFigure 3（Sec.3 开头）：EANet 总体架构，含 backbone、EABlock、joint feature extractor、SJT、regressor 与 MANO；定位全局流程。\nFigure 4（Sec.3.2）：EABlock 的 extract/adaptation 流程；支撑交互特征抽取与左右手适配。\nFigure 5（Sec.3.2）：FuseFormer 在 extract 阶段的 SimToken/JoinToken 构造与 CA 融合；核心机制图，详细解读见 module_d。\nFigure 6（Sec.4.3）：不同 Transformer block 的视觉比较，含多子图，文本仅见 (e) Ours (full) 标注；辅助 Table2 的定性证据。\nFigure 7（Sec.4.4）：与 SOTA 在 InterHand2.6M 与 in-the-wild 图像上的视觉比较；辅助定性主张，红圈标出本文正确而他人错误区域。\nFigure 8（Sec.4.4）：t-SNE 与 attention map 比较；支撑本文缓解 distant token 问题、注意力在左右半区更平衡；具体图像内容未独立核验。\nFigure 9（Sec.4.4）：按序列 pose difference 与误差比较，声称 EANet 对非对称姿态更鲁棒；pose difference 定义在未提供的补充材料中，待核验。\nTable 1（Sec.4.3）：整体架构消融，比较不分离/分离与 EABlock；支撑“分离+EABlock”组合，详细解读见 module_d。\nTable 2（Sec.4.3）：EABlock 与 CA/SA Transformer、无 adaptation/full 的比较；支撑 EABlock 优于普通 Transformer 块。\nTable 3（Sec.4.3）：CA 输入 token 组合消融；支撑 JoinToken 作 query、SimToken 作 key/value 及两 token 互补，详细解读见 module_d。\nTable 4（Sec.4.3）：EABlock 与 SJT 的组合消融；支撑两者协同。\nTable 5（Sec.4.4）：InterHand2.6M 上 SOTA 与参数量比较；主结果表，详细解读见 module_d。\nTable 6（Sec.4.4）：HIC 上 SOTA 比较；支撑泛化主张，但 HIC 仅评估，详细解读见 module_d。\n缺失说明：所给材料无附录/补充材料，Fig.9 的 pose difference 定义无法核验；图片视觉内容只能依据图注与正文，未做像素级复核；表内“-”表示未报告，不应视为 0。\n\n\n\n\n## 第三轮：评估与复现\n\n\n### 可信度、局限与复现\n\n### 可信结论\n\n- 在作者给定的 H split 消融条件下，EABlock 的组合收益有表内证据：Table 1 的 MPJPE All 15.32→13.53→10.58、MPVPE All 12.80→12.28→9.13；Table 2 的 EABlock full 10.58/9.13 优于 CA 13.53/12.28、SA 12.47/10.75 与 w/o adaptation 11.25/9.61；Table 3 的 q=t_J、kv=t_S 为 10.58/9.13，优于反向 11.44/9.79、单 t_S 11.40/9.75、单 t_J 12.71/10.02、kv=F_L,F_R 11.63/10.00、无 CA 13.88/11.95；Table 4 的 EABlock+SJT 10.58/9.13 优于单用。由此可较有信心地认为：在该实现与数据划分下，两 token + 特定 CA 方向 + adaptation + SJT 的排序有效。\n- 架构描述足以支持高层复现：Sec.3.1–3.5 给出 ResNet-50、1×1 卷积、c=C/4、SimToken/JoinToken 构造、CA 方向、2.5D heatmap/soft-argmax/grid sampling、SJT 与 MANO 回归流程；Table 5/6 给出主要基准结果。\n\n### 证据不足或待核验\n\n- “SOTA”应限定为作者报告协议：InterHand2.6M H+M split 的 SH+IH、HIC 仅评估、MPVPE 经 scale alignment；Table 5 全模型 106.82M 对 IntagHand 39.04M 不是等参数比较，Light 版仅把 c 改为 C/8，且未给 FLOPs/时延。\n- Keypoint Transformer 的 MPVPE 由作者用官方代码与预训练权重补测（Sec.4.4），存在版本/实现差异；本次未访问该代码，无法核验。\n- Fig.9 的“对非对称姿态更鲁棒”依赖 supplement 中的 pose difference 定义；文档未提供 supplement，且只选 6 个序列，缺统计显著性。\n- distant token problem 的诊断主要靠 Fig.2/Fig.8 的 t-SNE 与 attention map 定性展示，未给 token 异质性的定量指标。\n- 损失权重、数据增强、裁剪/预处理、随机种子、误差棒、HIC 详细协议、推理时延/显存均未报告；EANet Light 是否只改 c=C/8 在 Sec.4.4 有述，但实现细节仍需代码核验。\n\n### 关键假设与失效场景\n\n- 假设 1：共享 backbone 经两个 1×1 卷积能形成足够好的左右手专精特征；若双手严重遮挡、接触或边界截断，F_L/F_R 可能混入对方信息。\n- 假设 2：JoinToken 的每个元素含双手信息，故以它为 query 可避免 query-key 相关性与 value 失配；若一只手缺失/被遮挡，JoinToken 可能把无效信息写入 query，CA 仍可能注入噪声。Table 2 也显示单手工况下 CA 会强制注入不存在的 counterpart 信息。\n- 假设 3：MPVPE 的 scale alignment 与 benchmark 划分能代表实际精度；部署中绝对尺度、相机与手部尺寸变化可能不同。\n- 失效后果：单手、强遮挡、极端不对称姿态、域外背景/光照、视频时序场景下，误差可能上升；论文的 HIC 只评估不训练，不能证明跨域训练泛化。\n\n### 复现计划\n\n必需产物：官方代码（摘要给出 <https://github.com/jkpark0825/EANet，未访问）；InterHand2.6M> 与 HIC 数据及划分；MANO 模型；ImageNet 预训练 ResNet-50；用于公平比较的 Keypoint Transformer/IntagHand 官方实现或权重；补充材料（尤其 Fig.9 的 pose difference 定义）。\n关键设置：PyTorch、Adam、4×RTX 2080 Ti、每 GPU batch 32、30 epochs、初始 lr 1e-4、第 10/15 epoch 退火；输入 256×256；c=C/4，Light 为 C/8；SOTA 比较用 H+M 的 SH+IH，消融用 H 的 SH+IH。缺失超参（损失权重、增强、裁剪、种子）是复现阻塞项，不能臆造。\n验证步骤：先做形状单测（F 为 8×8×2048；F_L/F_R 为 8×8×512；l=129；t_S 为 129×512；t_J 为 64×512；CA 输出 64×512；adaptation 后拼接通道按描述推断为 c+c/4=640，论文未明示）；再复现 Table 3 的 token/CA 方向消融，然后 Table 1/2/4，最后 Table 5/6。核心创新验证应至少包含：q=t_J/kv=t_S 对反向与单 token 的排序、EABlock 对无 EABlock 的增益、adaptation 与 SJT 的增量；并补做 token 空间与 attention 的定量诊断。\n成功标准：在同一数据划分与评测代码下，复现出与论文一致的相对排序和量级；绝对数值允许因实现差异偏移，但偏移需能由缺失超参或代码版本解释。若 Table 3 的 q=t_J 优势消失，则核心机制主张需重新评估。\n伪代码（按 Sec.3.2 重建，非官方实现）：\n\n```text\nF = ResNet50(I)\nF_L = Conv1x1_L(F); F_R = Conv1x1_R(F)\nt = concat(reshape(F_L), reshape(F_R), t_cls)\nt_S = SA(t)\nt_J = FC(reshape(concat_channels(F_L, F_R)))\nF_inter = CA(q=FC_q(t_J), k=FC_k(t_S), v=FC_v(t_S))\nF_interL = FuseFormer(F_L, F_inter)\nF_interR = FuseFormer(F_R, F_inter)\nF_L* = concat(F_L, reshape(FC_down(F_interL)))\nF_R* = concat(F_R, reshape(FC_down(F_interR)))\n```\n\n阻碍项：代码/补充材料未访问；损失权重与预处理未报告；HIC 评测协议与基线权重版本未核验；无计算量/时延数据。\n\n\n\n\n\n### 应用约束\n\n### 已展示的部署相关行为\n\n- 仅证明单张 RGB 图像的 benchmark 精度：InterHand2.6M 与 HIC 上的 MPVPE/MRRPE，以及定性图。未展示真实设备推理、视频时序、在线系统集成。\n- 计算条件为 4×RTX 2080 Ti 训练；未报告推理 FLOPs、时延、显存、功耗。\n\n### 约束与推断\n\n- 数据：训练依赖 InterHand2.6M；HIC 只用于评估。需要 MANO 参数与手部标注；输入为 256×256，裁剪/预处理未报告。若实际场景没有高质量手部 crop，性能不可直接推断。\n- 计算：EANet 106.82M 参数，Light 33.90M；后者精度下降（Table 5 MPVPE All 6.53 vs 5.45；Table 6 40.59 vs 33.80）。参数不是时延，不能据此判断实时性。\n- 鲁棒性：HIC 评估说明对自然光照/背景有一定泛化迹象；但未训练 HIC。Fig.9 的非对称姿态鲁棒性待 supplement 核验；单手、遮挡、接触、截断、运动模糊、低光照未系统评估。\n- 适用性：适合作为离线/近线 3D 双手重建的方法原型；AR/VR 实时交互需额外时延与稳定性验证。无 temporal 模块，视频中可能抖动。\n\n### 结论\n\n已展示的是 benchmark 精度与定性比较；部署成本、实时性和域外稳定性主要是推断，不能当作已证明结论。\n\n\n\n\n\n### 探索问题\n\n1. token 同质性是否因果解释增益？验证：定义 token 空间异质性指标（如左右手 token 分布的 MMD/线性可分性），在 InterHand2.6M 不同 pose difference 序列上与 MPJPE 做相关分析；同时消融 SimToken/JoinToken。收益：把 Fig.2/8 的定性诊断变成可检验机制；风险：指标可能与最终误差弱相关，需避免只拟合一个代理指标。\n2. 单手/遮挡与跨数据集训练是否仍成立？验证：在 HIC 上做训练+评估（若协议允许），并构造单手、遮挡、截断子集；比较 adaptation 开关与 CA 方向。收益：检验 Table 2 中 CA 注入不存在 counterpart 的问题是否可被 adaptation 缓解；风险：数据许可与评测协议不一致，计算成本高。\n3. Light 版是否在等计算量下优于 IntagHand？验证：在目标硬件测 FLOPs、时延、显存，并做等参数/等 FLOPs 裁剪或蒸馏基线。收益：给出可部署的比较；风险：硬件与实现差异大，官方代码未核验。\n\n\n\n\n\n### 引用与核验\n\n### 核验状态\n\n本次仅基于所给论文正文，未进行外部检索，未访问代码仓库、补充材料、数据集主页或基线官方实现；因此以下外部事实均为待核验，不是已核实事实。\n\n### 关键引用与主张\n\n- 新颖性/问题来源：distant token problem 的提出与 tokenization 论证依赖 [^9][^16][^17][^21][^24][^28][^35][^37][^38] 等；论文将双手特征异质性与多模态 distant token 问题类比。是否“首次”提出该术语、与这些工作的确切差异，未做外部文献核验。FuseFormer 与 [^24] 的视频修复 FuseFormer 同名但不同工作，阅读时需区分。\n- 最强比较：[^12] Keypoint Transformer、[^20] IntagHand、[^39] Zhang et al. 支撑 Table 5/6。Table 5 中 Keypoint Transformer 的 MPVPE 由作者用其官方代码与预训练权重补测（Sec.4.4），这是外部复现依赖；本次未访问该代码，无法核验版本与数值。IntagHand 的 39.04M 与 EANet 106.82M 的参数差异使全模型比较不等参，Light 版比较仍需计算量核验。\n- 数据与评测：[^27] InterHand2.6M、[^33] HIC；HIC 仅评估，未训练。数据集划分、scale alignment、HIC 评测协议均以论文描述为准，未外部核验。\n- 复现依赖：[^30] MANO、[^14] ResNet-50、[^35] Transformer、[^32] soft-argmax、[^15] grid sampling、[^9] class token、[^34] t-SNE。代码链接见摘要 <https://github.com/jkpark0825/EANet，但未访问，许可与可运行性待核验>。\n- 其余引用（如 [^1] [^2] [^3] [^4] [^5] [^6] [^7] [^8]、[^10] [^11]、[^13]、[^18] [^19]、[^22] [^23]、[^25] [^26]、[^29]、[^31]、[^36]、[^40] [^41]）主要用于背景、组件或数据集说明，未逐条核对；不应把“论文引用了”理解为“已独立验证”。\n\n### 版本与日期\n\n文档未明确 publication venue/date；本输出不把 CVPR 2024 或 2024 当作已确认事实，均待外部核验。作者单位在文档中为 Seoul National University 与 Meta Reality Labs Research；若需机构字段应另行抽取。\n\n\n\n\n\n### 最终判断\n\n可信的是：EANet 的架构描述清晰，Table 1–4 在其 H split 消融中支持“左右手分离 + 两 token + 特定 CA 方向 + adaptation + SJT”的相对有效性；Table 5/6 在作者协议下给出强 benchmark 结果。需要保留的是：全模型与 IntagHand 不等参、Keypoint Transformer 数值为作者补测、HIC 只评估、Fig.9 依赖缺失 supplement、无时延/显著性/跨域训练证据。作为方法论文，它适合提供 token 设计与 CA 方向的思路；作为部署或强泛化证据，目前不够。下一步应获取官方代码与补充材料，先复现 Table 3 的 q=t_J/kv=t_S 消融，再补测 HIC 跨数据集与推理成本。"
}