{
  "paper_id": "f02789fc5407b58ae01661be0e4edfbd",
  "paper_title": "End-to-End Human Pose and Mesh Reconstruction with Transformers",
  "paper_authors": [
    "Kevin Lin",
    "Lijuan Wang",
    "Zicheng Liu"
  ],
  "publication_date": "",
  "publication_venue": "2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)",
  "abstract": "本文提出一种名为 MEsh TRansfOrmer（METRO）的新方法，用于从单张图像重建三维人体姿态和网格顶点。该方法使用 Transformer 编码器联合建模顶点—顶点以及顶点—关节之间的交互，并同时输出三维关节坐标和网格顶点。与回归姿态和形状参数的现有技术不同，METRO 不依赖 SMPL 等参数化网格模型，因此可以方便地扩展到手部等其他对象。方法进一步放松网格拓扑约束，使 Transformer 自注意力机制能够在任意两个顶点之间自由建立关联，从而学习网格顶点与关节之间的非局部关系。借助所提出的掩码顶点建模，METRO 在部分遮挡等挑战性情形下更加鲁棒和有效。METRO 在公开的 Human3.6M 和 3DPW 数据集上取得了人体网格重建的最新最优结果；此外，论文还展示了其向野外三维手部重建的泛化能力，并在 FreiHAND 数据集上超过现有最优方法。\n",
  "keywords": [
    "三维人体姿态重建",
    "人体网格重建",
    "Transformer",
    "自注意力",
    "掩码顶点建模",
    "非局部交互",
    "单张图像",
    "三维手部重建"
  ],
  "paper_institutions": [
    "Microsoft"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:26:49.500071Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对单张图像中三维人体姿态与网格重建因复杂关节运动和遮挡而难以准确恢复的问题，论文首先梳理了两类相关方法：基于 SMPL 等参数模型的方法虽具备强先验，却受限于构造参数模型时的样本空间；基于图卷积的非参数方法依赖预设网格拓扑，主要建模邻域顶点关系，难以高效捕获手、脚等跨身体部位的长程依赖。为此，作者提出 METRO，其核心机制是由 ImageNet 预训练 CNN 提取 2048 维图像特征，将该特征与模板人体网格中每个关节和顶点的三维坐标拼接，形成关节查询与顶点查询，再由多层 Transformer 编码器通过自注意力在任意关节、顶点之间建模输入相关的短程与长程交互，并并行回归三维关节坐标和网格顶点。模型采用渐进式降维架构，在编码器层间以线性投影逐步降低隐藏维度，每个编码器块包含 4 层和 4 个注意力头；同时设计掩码顶点建模（MVM），训练时随机遮蔽部分查询但要求模型回归全部关节和顶点，从而模拟遮挡并迫使模型利用其他相关查询。训练使用 L1 顶点误差、L1 关节误差、由预定义回归矩阵得到的网格关节误差以及二维重投影误差，核心目标为 L = α(L_V + L_J + L_J^reg) + βL_J^proj，其中 α、β 表示三维和二维标注是否可用。实验采用二维与三维数据混合训练，包括 Human3.6M、3DPW、UP-3D、MuCo-3DHP、COCO、MPII，并使用 FreiHAND 验证跨对象泛化；Human3.6M 用于检验室内场景下精确形体回归能力，3DPW 用于检验野外遮挡与复杂场景鲁棒性，FreiHAND 则验证框架不依赖参数系数和邻接矩阵时的可迁移性。由于当前硬件显存限制，Transformer 先处理经两次子采样得到的 431 个顶点粗网格，再由可学习 MLP 端到端上采样至 6890 个顶点，以降低计算量并减少原始网格的空间冗余。在 MPJPE、PA-MPJPE 和 MPVE 指标下，METRO 在 3DPW 上取得 88.2mm MPVE、77.1mm MPJPE 和 47.9mm PA-MPJPE，在 Human3.6M 上取得 54.0mm MPJPE 和 36.7mm PA-MPJPE，优于包括视频方法 VIBE 在内的先前方法；MVM 消融将 Human3.6M 的 MPJPE 从 61.0mm 降至 54.0mm、PA-MPJPE 从 39.1mm 降至 36.7mm，最大随机遮蔽比例在约 30% 时效果最好。注意力可视化和对 3DPW 5000 张测试图像的平均注意力分析显示，模型会关注前臂、小腿等端效应部位，符合逆运动学直觉，并能在遮挡时依据头部、对侧手或脚等非局部线索进行预测。在 FreiHAND 上，METRO 取得 6.3mm PA-MPVPE、6.5mm PA-MPJPE、0.731 的 F@5mm 和 0.984 的 F@15mm，证明其可扩展到三维手部网格。该方法适用于虚拟现实、运动分析和神经退行性疾病诊断等场景，但实际使用受单目图像固有歧义、遮挡、显存、粗网格上采样以及训练中部分网格依赖伪标签等约束；后续可向更高分辨率网格、更多三维对象、计算效率提升以及时序信息利用等方向探索。\n\n### 关键要点\n\n- METRO 以 224×224 图像为输入，先用 ImageNet 预训练 CNN 提取全局图像特征，再由 Transformer 并行预测三维人体关节和网格顶点。\n- 关节查询和顶点查询由 2048 维图像特征与模板网格中的三维坐标拼接而成，因此每个查询都保留图像信息和位置信息。\n- Transformer 自注意力允许任意两个关节或顶点直接交互，不受图卷积邻接关系限制，可同时学习短程和长程身体依赖。\n- 渐进式降维架构在多个编码器层之间交替执行自注意力和线性投影，使最终隐藏向量逐步收敛为三维坐标。\n- 掩码顶点建模会随机遮蔽部分输入查询，但不要求恢复被遮蔽输入，而是要求模型回归全部关节和顶点，从而模拟部分遮挡。\n- 训练损失由三维顶点误差、三维关节误差、由网格回归出的关节误差和二维重投影误差组成，并通过 α、β 适配不同标注类型。\n- 受显存限制，系统先让 Transformer 处理 431 个顶点的粗网格，再用可学习 MLP 端到端上采样到 6890 个顶点。\n- 混合训练使用 Human3.6M、3DPW、UP-3D、MuCo-3DHP、COCO、MPII 等二维或三维数据；Human3.6M 按 S1、S5、S6、S7、S8 训练，S9、S11 测试。\n- 在 3DPW 上，METRO 的 MPVE、MPJPE 和 PA-MPJPE 分别为 88.2mm、77.1mm 和 47.9mm；在 Human3.6M 上，MPJPE 和 PA-MPJPE 分别为 54.0mm 和 36.7mm。\n- MVM 消融使 Human3.6M 的 MPJPE 从 61.0mm 改善到 54.0mm，PA-MPJPE 从 39.1mm 改善到 36.7mm；随机遮蔽上限约 30% 时最佳。\n- 对 3DPW 测试集 5000 张图像的平均注意力分析表明，模型较强关注前臂和小腿区域，注意力模式与逆运动学中的端效应器线索一致。\n- 在 FreiHAND 手部数据集上从零训练后，METRO 取得 6.3mm PA-MPVPE、6.5mm PA-MPJPE、0.731 F@5mm 和 0.984 F@15mm，显示其可推广到参数模型之外的其他三维网格对象。"
}