{
  "paper_id": "0c86de3e917f3266e0c68d0c26318493",
  "paper_title": "Pose2Mesh: Graph Convolutional Network for 3D Human Pose and Mesh Recovery from a 2D Human Pose",
  "paper_authors": [
    "Hongsuk Choi",
    "Gyeongsik Moon",
    "Kyoung Mu Lee"
  ],
  "publication_date": "2020",
  "publication_venue": "ECCV 2020",
  "abstract": "近期多数基于深度学习的三维人体姿态与网格估计方法从输入图像回归SMPL、MANO等人体网格模型的姿态和形状参数。这类方法存在两个弱点：其一，受控环境训练图像与野外测试图像在外观上差异显著，导致外观域间隙；其二，三维旋转的表示问题使姿态参数估计十分困难。为克服这些问题，本文提出Pose2Mesh，一种基于图卷积神经网络的新型系统，直接从二维人体姿态估计人体网格顶点的三维坐标。二维人体姿态能够提供关键的人体关节信息，并且在不同数据域之间具有相对一致的几何特性；同时，该系统避免了旋转参数表示问题，并通过GraphCNN以由粗到细的方式充分利用网格拓扑。实验表明，Pose2Mesh在多个基准数据集上优于以往三维人体姿态与网格估计方法，且代码已公开。\n",
  "keywords": [
    "三维人体姿态估计",
    "三维人体网格恢复",
    "二维人体姿态",
    "图卷积神经网络",
    "Pose2Mesh",
    "模型无关",
    "由粗到细",
    "SMPL",
    "MANO"
  ],
  "paper_institutions": [
    "ECE & ASRI, Seoul National University, Korea"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:17:15.114595Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对基于图像的参数化三维人体姿态与网格恢复方法在受控训练环境和野外测试环境之间存在外观域间隙，以及SMPL/MANO姿态参数中三维旋转具有周期性、非最小表示等回归困难，论文在模型参数回归、模型无关顶点回归和GraphCNN网格处理的研究背景下提出Pose2Mesh。该系统以二维人体姿态为输入，利用二维姿态在不同域间相对一致的几何特性缓解外观差异，并通过级联的PoseNet与MeshNet完成恢复：PoseNet对二维姿态做均值方差归一化并提升为根关节相对的三维姿态，MeshNet拼接二维与三维姿态形成J×5特征，在基于人体骨架和对称关系构建的关节图、以及基于SMPL/MANO拓扑构建的网格图上执行K=3的Chebyshev谱图卷积，核心机制为 \\(F_{\\mathrm{out}}=\\sum_{k=0}^{K-1}T_k(\\tilde{L})F_{\\mathrm{in}}\\Theta_k\\)，再从最粗网格图通过最近邻上采样和残差连接逐步细化到身体12288个顶点或手部1088个顶点。训练阶段向真实二维姿态注入符合检测器特性的误差以增强鲁棒性，PoseNet采用三维姿态L1损失，MeshNet采用顶点坐标、关节坐标、表面法向和表面边四项损失，权重分别为1、1、0.1和20；实现上使用PyTorch、RMSprop、批大小64，先预训练PoseNet 60轮，再端到端训练15轮。实验选用Human3.6M、3DPW、COCO、MuCo-3DHP、FreiHAND及AMASS合成数据，其中Human3.6M通过SMPLify-X生成伪三维网格标注，3DPW用于检验野外泛化，FreiHAND验证手部网格，AMASS验证仅依靠姿态—网格配对数据增强的可行性；评价指标包括MPJPE、PA-MPJPE、MPVPE/PA-MPVPE和F-score，Pose2Mesh在Human3.6M上达到64.9 mm MPJPE和48.0 mm PA-MPJPE，在3DPW上达到88.9 mm MPJPE、58.3 mm PA-MPJPE和106.3 mm MPVPE，在FreiHAND上达到7.6 mm PA-MPVPE、7.4 mm PA-MPJPE以及0.683/0.973的F@5mm/F@15mm，这些结果支持直接顶点回归、网格拓扑利用和由粗到细上采样的有效性，也显示其可用于实时动作捕捉、增强现实等场景，但仍受二维姿态检测误差、遮挡、深度与体型歧义以及仅凭姿态恢复精细形状的限制，未来可通过稠密关键点或部件分割增强形状恢复能力。\n\n### 关键要点\n\n- Pose2Mesh以二维人体姿态为输入，直接输出根关节相对的三维人体姿态和网格顶点坐标，而不是回归SMPL或MANO参数。\n- 系统采用级联结构：PoseNet先将二维姿态提升为三维姿态，MeshNet再融合二维与三维姿态生成三维网格。\n- PoseNet对输入二维姿态减去均值并除以标准差，以消除主体二维位置和尺度对根相对三维姿态预测的影响。\n- 训练时在真实二维姿态上合成 realistic 检测误差，使网络对遮挡、困难姿态和二维姿态检测器噪声更鲁棒。\n- MeshNet的关节图依据人体骨架连接和对称关系构建，所有图卷积层采用K=3的Chebyshev谱卷积，可聚合最多三跳邻域信息。\n- 网格生成采用由粗到细上采样，身体网格顶点数从96逐步增至12288，手部网格从68增至1088。\n- MeshNet同时使用顶点L1损失、关节回归L1损失、表面法向损失和表面边长损失，后两者用于改善平滑性及手、脚、嘴部等稠密区域的局部细节。\n- Human3.6M没有公开三维网格真值，论文使用SMPLify-X从三维关节真值拟合SMPL参数，并以此生成训练所需伪网格标注。\n- 消融实验表明，顶点坐标加GraphCNN组合达到64.9 mm MPJPE和48.0 mm PA-MPJPE，显著优于顶点坐标加全连接网络的119.6 mm和95.1 mm，且参数量仅8.8M。\n- 由粗到细方案相比直接上采样占用6GB而非10GB显存，推理速度为37 fps而非24 fps，MPJPE还从65.3 mm降至64.9 mm。\n- 在野外3DPW数据集上，仅用受控环境Human3.6M训练的Pose2Mesh仍大幅优于出现严重外观域间隙的图像方法，体现了二维姿态几何特性的跨域稳定性。\n- Pose2Mesh本身运行速度为37 fps，结合不同二维姿态检测器后整体约为4至22 fps，但二维姿态误差、体型歧义和遮挡仍会造成失败案例。"
}