{
  "paper_id": "d3dd40654d9dcb487fdf6843e24fbad2",
  "paper_title": "SMPLer-X: Scaling Up Expressive Human Pose and Shape Estimation",
  "paper_authors": [
    "Zhongang Cai",
    "Wanqi Yin",
    "Ailing Zeng",
    "Chen Wei",
    "Qingping Sun",
    "Yanjun Wang",
    "Hui En Pang",
    "Haiyi Mei",
    "Mingyuan Zhang",
    "Lei Zhang",
    "Chen Change Loy",
    "Lei Yang",
    "Ziwei Liu"
  ],
  "publication_date": "",
  "publication_venue": "Advances in Neural Information Processing Systems 36",
  "abstract": "表现力人体姿态与形状估计（EHPS）统一了身体、手部和面部动作捕捉，并具有大量应用。尽管已有可喜进展，当前最先进方法仍很大程度上依赖有限的训练数据集。本文研究将 EHPS 扩展为首个通用基础模型 SMPLer-X：其最大以 ViT-Huge 为主干，并使用来自多样数据源、多达 450 万个实例进行训练。在数据缩放方面，论文系统考察 32 个 EHPS 数据集，涵盖单一数据集无法处理的广泛场景，并依据基准测试洞察优化训练方案、选择数据集；在模型缩放方面，利用视觉 Transformer 研究 EHPS 中模型规模的缩放规律。微调策略还可将 SMPLer-X 转变为专家模型并进一步提升性能。SMPLer-X 在 AGORA、UBody、EgoBody、EHF 等七个基准上持续取得最先进结果，例如 AGORA 为 107.2 mm NMVE，UBody 为 57.4 mm PVE，EgoBody 为 63.6 mm PVE，EHF 在未微调时为 62.3 mm PVE。\n",
  "keywords": [
    "表现力人体姿态与形状估计",
    "SMPLer-X",
    "SMPL-X",
    "基础模型",
    "数据缩放",
    "模型缩放",
    "视觉 Transformer",
    "多数据集训练",
    "迁移学习",
    "微调"
  ],
  "paper_institutions": [
    "S-Lab, Nanyang Technological University",
    "SenseTime Research",
    "Shanghai AI Laboratory",
    "The University of Tokyo",
    "International Digital Economy Academy (IDEA)"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T03:46:01.085740Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对现有表现力人体姿态与形状估计方法依赖少量数据集、跨域场景泛化能力不足的问题，论文以可统一表示身体、手部和面部几何的 SMPL-X 为参数化模型，对 32 个 EHPS 数据集进行首次系统基准测试，并构建通用基础模型 SMPLer-X。相关研究背景中，多阶段整体身体模型容易产生网格不一致和腕部旋转不自然等问题，而 OSX 等单阶段 ViT 方案虽简洁却未充分扩展训练数据；因此，论文选择 AGORA、UBody、EgoBody、3DPW 和 EHF 作为主要评估集，分别验证合成高多样性、真实上半身、第一人称截断、野外场景和跨数据集工作室场景下的能力。SMPLer-X 采用极简架构：ViT 主干提取图像特征，颈部预测手部和面部边界框并裁剪感兴趣区域，多个回归头分别估计身体、手部和面部参数；其核心机制是从单目图像估计姿态参数 θ∈ℝ^(55×3)、形状参数 β∈ℝ^10 和表情参数 ψ∈ℝ^10，并通过运动学变换 R_θ(J(β)) 获得三维关键点。训练时依据各数据集在主要基准训练集上的排名选择 5、10、20、32 个数据集，对应 0.75M、1.5M、3.0M、4.5M 个实例，以避免测试集信息泄漏，同时采用平衡采样防止大数据集压制小数据集；模型主干使用 ViTPose 预训练的 ViT-S、B、L、H，在 16 张 V100 GPU 上训练 10 个 epoch，总批量大小为 512，ViT-Huge 为 256。实验采用 PVE、MPJPE、NMVE、NMJE 和新提出的 MPE 等毫米级误差指标，结果表明数据缩放和模型缩放均持续降低误差，五个主要基准的平均主要误差由超过 110 mm 降至低于 70 mm，最强 SMPLer-X-H32 的 MPE 为 63.1 mm；微调专家模型在 AGORA 测试集达到 107.2 mm NMVE，较此前提升 11.0%，并在 UBody、EgoBody、EHF 等基准上达到最先进性能。模型还能迁移到未见过的 DNA-Rendering 和 ARCTIC 等环境，适用于动画、游戏、时尚、视频会议、第一人称交互和严重截断等真实场景；未来可继续探索数据多样性与质量、加权采样、SMPL 标注向 SMPL-X 的有效适配，以及在高昂训练成本下的架构设计，主要约束包括基础模型训练耗时、五个基准仍可能无法覆盖全部真实分布，以及预训练模型可能带来未经许可监控和隐私侵犯风险。\n\n### 关键要点\n\n- EHPS 通过 SMPL-X 联合恢复身体、双手和面部，目标参数包括姿态 θ、形状 β 和表情 ψ，并用 R_θ(J(β)) 回归三维关键点。\n- 论文建立首个覆盖 32 个数据集的 EHPS 系统基准，并以 AGORA、UBody、EgoBody、3DPW 和 EHF 五个数据集评估不同场景下的泛化性。\n- 单数据集训练存在明显域偏差，例如在 AGORA 上训练的模型在 AGORA 验证集排名第 1，但在 UBody、EgoBody、3DPW 和 EHF 上分别排名第 6、第 6、第 12 和第 24。\n- 数据集属性分析显示，实例数超过约 100K 后规模不再是决定因素，多样化野外场景、变化的室内场景、合成数据和伪 SMPL-X 标注都能显著贡献泛化能力。\n- SMPLer-X 采用极简单阶段设计，由 ViT 主干、预测手部和面部感兴趣区域的颈部，以及分部位回归头组成，不依赖第三方检测器或重型解码器。\n- 为避免测试集信息泄漏，训练数据依据数据集在目标基准训练集上的排名选择，并通过平衡采样使所有选中数据集被上采样或下采样到相近长度。\n- 数据缩放持续改善 MPE，模型缩放在同等数据量下也有效，但 ViT-Huge 相对 ViT-L 的边际收益已经减小。\n- SMPLer-X-H32 使用 4.5M 个实例和 662M 参数，在主要基准上取得 63.1 mm MPE；其在单张 V100、批量大小为 1 时速度为 17.5 FPS。\n- SMPLer-X 系列速度均高于相同设置下 12.2 FPS 的 OSX，其中 ViT-S 为 36.2 FPS、ViT-B 为 33.1 FPS、ViT-L 为 24.4 FPS。\n- 微调时选择目标训练集上排名靠前的五个数据集并训练 5 个 epoch，可将通用模型低成本适配为专家模型；AGORA 微调模型达到 107.2 mm NMVE，UBody 和 EgoBody 分别达到 57.4 mm 和 63.6 mm PVE。\n- 论文指出训练基础模型成本高昂、五个基准仍可能不足以代表真实世界分布，且释放强 EHPS 模型可能带来监控和隐私侵犯等社会风险。"
}