{
  "paper_id": "e7244f0ab59129c53a7b7652feddbbda",
  "paper_title": "Extract-and-Adaptation Network for 3D Interacting Hand Mesh Recovery",
  "paper_authors": [
    "JoonKyu Park",
    "Daniel Sungho Jung",
    "Gyeongsik Moon",
    "Kyoung Mu Lee"
  ],
  "publication_date": "",
  "publication_venue": "2023 IEEE/CVF International Conference on Computer Vision Workshops (ICCVW)",
  "abstract": "理解双手如何交互是准确恢复三维交互手网格的关键。然而，近期基于 Transformer 的方法直接将双手特征作为输入 token，导致远距离 token 问题：输入 token 位于异构空间，使 Transformer 难以捕获它们之间的关联。该问题在双手姿态差异较大时尤为明显，因为已有方法会将骨干网络特征投影为分离的左手和右手专用特征。本文提出提取与适配网络 EANet，其核心组件为 EABlock。EABlock 不直接使用双手特征，而是使用两种互补的新 token——SimToken 和 JoinToken。二者均由分离的双手特征组合得到，因此对远距离 token 问题更鲁棒；EABlock 可借此有效提取交互特征并将其适配到每只手。EANet 在三维交互手基准上达到了当前最优性能，代码开放于 <https://github.com/jkpark0825/EANet>。\n",
  "keywords": [
    "三维交互手网格恢复",
    "EANet",
    "EABlock",
    "FuseFormer",
    "SimToken",
    "JoinToken",
    "Transformer",
    "远距离 token 问题",
    "交叉注意力",
    "MANO",
    "InterHand2.6M",
    "HIC"
  ],
  "paper_institutions": [
    "Dept. of ECE&ASRI, Seoul National University, Korea",
    "IPAI, Seoul National University, Korea",
    "SNU-LG AI Research Center",
    "Meta Reality Labs Research"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:31:21.360803Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对单目 RGB 图像中三维交互手网格恢复需要准确理解双手关联、而现有基于 Transformer 的方法直接使用分离的左右手特征会产生远距离 token 问题，本文提出提取与适配网络 EANet。已有方法要么不分离骨干特征而无法获得左右手分支的好处，要么将特征投影到异构的左右手空间，在双手姿态差异较大时使注意力难以捕获交互；EANet 则通过核心模块 EABlock 先提取双手交互特征，再将其分别适配到左手和右手。EABlock 由多个 FuseFormer 构成：FuseFormer 将展平的左右手特征与可学习 class token 拼接后经自注意力生成 SimToken，同时将双手特征拼接、整形并经全连接层生成 JoinToken；核心注意力机制可写为 $Attn(Q,K,V)=softmax(QK^{\\top}/\\sqrt{d_k})V$。SimToken 依赖相似性运算，在双手姿态相近时能有效提取交互，JoinToken 直接建模双手联合分布，在姿态差异较大时仍可提供互补信息；随后交叉注意力以 JoinToken 为 query、SimToken 为 key/value，避免 query-key 相关性与 value 来源错配。网络还使用 2.5D 热图与 soft-argmax 估计关节坐标、通过 grid sampling 提取关节特征，用 Self-joint Transformer 增强单只手的关节特征，并回归 MANO 的 48 维姿态参数、10 维形状参数及双手相对平移。实验在大规模 InterHand2.6M 上训练和主评估，使用 H+M split 的单手与交互手图像进行公平比较、H split 进行消融，并在具有自然光和更多样背景的 HIC 上仅作测试以验证泛化性；实现采用 ImageNet 预训练 ResNet-50、256×256 输入、PyTorch、Adam、4 张 RTX 2080 Ti、每 GPU batch size 32、训练 30 个 epoch 且初始学习率为 1e-4，属于该任务的标准可比设置。评价指标包括毫米单位的 MPJPE、MPVPE 和 MRRPE；完整模型在 InterHand2.6M 消融设置上达到 All MPJPE 10.58、All MPVPE 9.13、MRRPE 18.82，在 InterHand2.6M 主对比中达到 All MPVPE 5.45、MRRPE 28.54，参数量 106.82M，轻量版以 33.90M 参数达到 All MPVPE 6.53，在 HIC 上完整模型达到 All MPVPE 33.80、MRRPE 81.11，显著优于 Keypoint Transformer、IntagHand 等方法，并在双手姿态差异增大约 7 倍时保持近乎稳定的低 MPJPE。这些结果支持新 token 缓解异构空间问题、提取阶段捕获交互、适配阶段过滤无关信息并增强手特异性信息的有效性。该方法面向 AR/VR、人机交互等真实场景，主要约束在于依赖单目 RGB、HIC 仅用于评估、部分 MPVPE 需按 GT 做尺度对齐，且复杂模型仍有计算成本；后续可结合轻量设计、遮挡与手物交互、野外光照变化进一步扩展。\n\n### 关键要点\n\n- 远距离 token 问题源于左手和右手专用特征被投影到异构空间，双手姿态差异越大，Transformer 越难学习二者关联。\n- SimToken 将左右手特征与 class token 拼接后通过标准自注意力 Transformer 生成，适合在双手姿态相似时基于相似性捕获交互。\n- JoinToken 将左右手特征拼接并整形后送入全连接层，不依赖点积等相似性运算，可建模双手联合分布。\n- FuseFormer 的交叉注意力以 JoinToken 为 query、SimToken 为 key/value，避免用 SimToken 作 query 时 query-key 相关性与 value 信息之间的错配。\n- EABlock 的提取阶段用一个 FuseFormer 融合左右手特征得到交互特征，适配阶段再用两个 FuseFormer 分别将交互特征与左手或右手特征融合。\n- 适配后的交互特征经通道压缩后与对应手特征拼接，目标是同时保留双手交互信息并获得左手或右手的特异性信息。\n- EANet 使用 ResNet-50 提取图像特征，再通过两个 1×1 卷积层分别得到左手和右手特征，完整模型通道设置为 c=C/4。\n- 关节特征提取器先预测深度离散格数 d=8 的 2.5D 热图，再用 soft-argmax 得到关节坐标，并依据坐标进行 grid sampling。\n- Self-joint Transformer 是标准自注意力模块，用于增强单只手的关节特征、隐式考虑关节之间的运动学结构。\n- InterHand2.6M 用于训练和评估，HIC 仅用于评估；HIC 的自然光和多样背景可检验跨数据分布的泛化能力。\n- 消融实验显示，完整 EABlock 在 InterHand2.6M H split 上比直接使用交叉注意力的分离特征模型 All MPJPE 从 13.53 降至 10.58。\n- 完整 EANet 在 HIC 上的 All MPVPE 为 33.80、MRRPE 为 81.11，显著优于 Keypoint Transformer 的 54.71 和 190.77。"
}