{
  "paper_id": "48d2c66503f00faf720a2de8ab326b19",
  "paper_title": "Mesh Graphormer",
  "paper_authors": [
    "Kevin Lin",
    "Lijuan Wang",
    "Zicheng Liu"
  ],
  "publication_date": "",
  "publication_venue": "2021 IEEE/CVF International Conference on Computer Vision (ICCV)",
  "abstract": "本文提出一种图卷积增强的 Transformer——Mesh Graphormer，用于从单张图像重建三维人体姿态和网格。近期 Transformer 与图卷积神经网络（GCNN）均在人体网格重建中取得进展：Transformer 擅长建模三维网格顶点与身体关节之间的非局部交互，而 GCNN 善于依据预定义网格拓扑挖掘相邻顶点的局部交互。论文研究如何在 Transformer 中结合图卷积与自注意力，以同时建模局部和全局交互。实验结果表明，Mesh Graphormer 在 Human3.6M、3DPW 和 FreiHAND 等多个基准上显著优于此前最先进方法。代码与预训练模型可在 <https://github.com/microsoft/MeshGraphormer> 获取。\n",
  "keywords": [
    "三维人体姿态重建",
    "三维人体网格重建",
    "单图像重建",
    "Transformer",
    "图卷积神经网络",
    "自注意力",
    "Mesh Graphormer",
    "图残差块",
    "图像网格特征",
    "FreiHAND"
  ],
  "paper_institutions": [
    "Microsoft"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:26:51.868387Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文针对单张图像中复杂人体关节铰接导致的三维姿态与网格重建难题，结合已有参数化/非参数化方法、GCNN 局部建模和 METRO 等 Transformer 全局建模的研究背景，提出图卷积增强 Transformer Mesh Graphormer；其核心是在多头自注意力之后接入图残差块，用自注意力捕捉顶点和关节的长程依赖，再用图卷积 $\\mathbf{Y}'=\\sigma(\\bar{\\mathbf{A}}\\mathbf{Y}\\mathbf{W}_G)$ 依据邻接矩阵显式增强相邻顶点的细粒度局部交互。模型以 224×224 图像为输入，用 ImageNet 预训练 HRNet 提取 7×7×1024 网格特征并展开为 49 个标记，同时使用 2048 维全局图像特征、14 个关节查询和 431 个顶点查询，经位置编码和 MLP 统一为 2051 维；三个逐级降维（1024、256、64）的编码器联合输出粗网格，再线性上采样至 SMPL 约 6K 顶点，这种粗到细策略可减少原始网格冗余并提高训练效率。训练采用 Adam，初始学习率 1e-4，共 200 个 epoch，第 100 个 epoch 衰减 10 倍，损失包括三维顶点/关节 L1 损失、二维投影关节 L1 损失、掩码顶点建模和粗网格中间监督；Human3.6M 因许可限制使用伪三维网格标注，并配合 MuCo-3DHP、UP-3D、COCO、MPII 等公开数据，3DPW 实验使用其训练集，FreiHAND 手部实验使用测试时增强。这些设置分别检验人体全身基准、野外场景和手部新姿态的泛化能力；在 3DPW 上 MPVE、MPJPE、PA-MPJPE 分别为 87.7、74.7、45.6 mm，在 Human3.6M 上 MPJPE 和 PA-MPJPE 分别为 51.2、34.5 mm，在 FreiHAND 上 PA-MPVPE、PA-MPJPE 为 5.9、6.0 mm，F@5 mm/F@15 mm 为 0.764/0.986，支持全局自注意力、局部图卷积和网格特征相互增强的有效性。消融还显示网格特征使 PA-MPJPE 从 36.7 降至 35.9 mm，结合图卷积和图残差块最终降至 34.5 mm，且二者联合增益 2.2 mm 大于单独增益之和；后续可沿该局部—全局互补架构扩展到更多对象、复杂姿态和真实人机交互场景，但实际应用仍受单目 RGB 深度歧义、Human3.6M 真实网格许可、预定义网格拓扑、粗网格上采样以及手部测试时增强等约束影响。\n\n### 关键要点\n\n- Mesh Graphormer 在 Transformer 块中结合多头自注意力与图残差块，使身体关节和网格顶点既能建立全局关系，又能利用预定义网格邻接关系增强局部交互。\n- 图像侧使用预训练 HRNet 提取最后卷积块的 7×7×1024 网格特征，形成 49 个 1024 维标记，并保留 2048 维全局图像特征以补充整体语义。\n- 输入标记包含 49 个网格特征、14 个关节查询和 431 个顶点查询，经位置编码与 MLP 统一维度后，由三个隐藏维度分别为 1024、256、64 的编码器处理。\n- 模型直接回归 431 个顶点的粗网格和三维关节，再通过线性投影上采样到 SMPL 拓扑约 6K 顶点，以降低冗余并提升训练效率。\n- 训练使用三维顶点和关节 L1 损失、二维投影关节 L1 损失、掩码顶点建模以及粗网格中间监督，优化器为 Adam，学习率在第 100 个 epoch 后衰减。\n- 全身训练数据包括 Human3.6M、MuCo-3DHP、UP-3D、COCO 和 MPII；由于 Human3.6M 三维网格许可限制，实验采用伪三维网格标注，并按 S1、S5、S6、S7、S8 训练、S9 和 S11 测试。\n- 在 3DPW 和 Human3.6M 上，Mesh Graphormer 的 PA-MPJPE 分别达到 45.6 mm 和 34.5 mm，优于 GraphCMR、Pose2Mesh、I2LMeshNet、VIBE 和 METRO 等方法。\n- 在 FreiHAND 三维手部重建中，该方法取得 5.9 mm PA-MPVPE、6.0 mm PA-MPJPE、0.764 F@5 mm 和 0.986 F@15 mm，表明架构可泛化到新颖且复杂的手势。\n- 消融实验表明，仅加入网格特征可将 PA-MPJPE 从 36.7 mm 改善到 35.9 mm，而网格特征、图卷积和图残差块的完整组合可进一步改善到 34.5 mm。\n- 图卷积放在多头自注意力之后效果最好，且在最后一个编码器中加入图卷积收益最明显，说明低层更偏向全局姿态建模、高层更关注局部形状细化。"
}