{
  "paper_id": "ff3476d0ac5391b1a977d514695e6c11",
  "paper_title": "Interacting Attention Graph for Single Image Two-Hand Reconstruction",
  "paper_authors": [
    "Mengcheng Li",
    "Liang An",
    "Hongwen Zhang",
    "Lianpeng Wu",
    "Feng Chen",
    "Tao Yu",
    "Yebin Liu"
  ],
  "publication_date": "",
  "publication_venue": "2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)",
  "abstract": "图卷积网络已在单手重建任务中取得成功，但基于GCN的交互双手重建仍未被探索。本文提出Interacting Attention Graph Hand（IntagHand），这是首个基于图卷积、从单张RGB图像重建两只交互手的网络。为解决双手重建中的遮挡与交互挑战，作者在原始GCN的每个上采样步骤中引入两个新型注意力模块：金字塔图像特征注意力（PIFA）模块利用多分辨率特征隐式获得顶点到图像的对齐；交叉手注意力（CHA）模块通过在两只手的顶点之间建立密集交叉注意力来编码交互手的一致性。该模型在InterHand2.6M基准上大幅超越所有现有双手重建方法，消融实验验证了PIFA和CHA均能提升重建精度，野外图像与实时视频流结果进一步证明了网络的泛化能力。\n",
  "keywords": [
    "交互双手重建",
    "单张RGB图像",
    "图卷积网络",
    "注意力机制",
    "金字塔图像特征注意力",
    "交叉手注意力",
    "网格回归",
    "InterHand2.6M"
  ],
  "paper_institutions": [
    "Tsinghua University",
    "Hisense Inc."
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:25:31.378586Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n单目RGB交互双手重建面临严重相互遮挡、双手外观相似以及交互上下文难以建模等问题；尽管GCN已在单手网格重建中成功，却尚未扩展到紧密交互的双手场景，现有基于2.5D热图或稀疏局部特征的方法也难以刻画手部表面遮挡和密集交互关系。本文提出首个基于图卷积网格回归的IntagHand，其图像编码器-解码器以ResNet50为骨干提取全局特征和8×8、16×16、32×32的金字塔特征，随后通过三个由粗到细的IntagHand块分别生成63、126、252个顶点的子网格，并上采样为每只手778个顶点的完整MANO网格；每个块包含Chebyshev谱图卷积、PIFA和CHA，其中PIFA将不同尺度图像切分为补丁并与顶点特征进行多头自注意力，使稀疏网格关注全局信息、稠密网格关注局部细节，CHA则通过核心机制F_R→L = softmax(Q_L K_R^T / sqrt(d))V_R及其反向注意力让每只手的顶点密集查询另一只手的特征，再以MLP融合交互信息。训练选用InterHand2.6M中带有人工与机器标注的交互双手数据，共366K训练样本和261K测试样本，因为它是唯一提供双手网格标注的数据集，可直接验证顶点与关节精度；RGB2Hands和EgoHands无网格标注，仅用于定性检验第三视角和自我视角的泛化。实现上采用PyTorch、Adam优化器、4块RTX 2080Ti训练100个epoch，并使用缩放、旋转、翻转和颜色抖动，端到端监督二维热图、分割、密集匹配编码、三维顶点、回归关节及网格平滑性。在根关节对齐并按掌骨长度缩放的协议下，MPJPE和MPVPE分别达到8.79mm和9.03mm，显著优于Zhang等人的13.48mm和13.95mm，PCK/AUC也在全部阈值上领先，支持了GCN密集推理、PIFA对齐和CHA交互建模的有效性；消融显示CHA相对GCN基线带来超过0.6mm提升，加入PIFA后再提升超过0.5mm，金字塔特征也优于单一8×8或32×32特征。该方法在单块RTX 3090上可达30fps，适用于VR、人机交互、机器人、全息传送和数字医学等实时场景，但缺少显式碰撞处理，偶尔会出现网格交叠；未来可结合检测网络扩展到两只以上的手，或将顶点化的手-物、人-人等双向交互纳入同一框架。\n\n### 关键要点\n\n- IntagHand是首个基于图卷积网络、从单张RGB图像直接回归两只交互手三维表面顶点的方法。\n- 每只手采用包含778个顶点的MANO拓扑，网络按63、126、252个顶点由粗到细建模，最后上采样到完整网格。\n- PIFA将8×8、16×16、32×32的多尺度图像特征划分为补丁，并通过多头自注意力增强顶点特征，以改善网格与图像的对齐。\n- CHA在左右手顶点之间建立对称的密集交叉注意力，使一只手能够根据另一只手的特征理解遮挡和紧密交互。\n- 图像编码器-解码器还预测二维关节热图、左右手前景分割和密集匹配编码，为网格回归提供辅助监督。\n- 训练损失包括三维顶点L1损失、顶点二维投影MSE损失、回归关节损失、法向一致性损失和边长平滑损失。\n- 模型在InterHand2.6M的交互双手子集上训练和测试，使用366K个训练样本和261K个测试样本，输入手部区域被裁剪并缩放至256×256。\n- 在InterHand2.6M上，IntagHand取得8.79mm MPJPE和9.03mm MPVPE，明显优于此前13.48mm和13.95mm的最佳结果。\n- 消融实验中，GCN基线为9.97mm MPJPE和10.63mm MPVPE，加入CHA后降至9.34mm和9.59mm，完整模型进一步降至8.79mm和9.03mm。\n- 与所有块使用单一8×8或32×32图像特征相比，金字塔多尺度特征能够结合全局与局部信息，获得更高重建精度。\n- 无需额外训练，模型可在USB相机实拍图像、RGB2Hands和EgoHands数据上生成结果，并在RTX 3090上以约30fps运行。\n- 方法的主要限制是没有显式碰撞处理，紧密交互时可能出现网格交叠；扩展到更多手或手-物交互需要额外检测或顶点化主体建模。"
}