{
  "paper_id": "6e593819cb131361b5e6cd1eb0ad1a85",
  "paper_title": "SMPLest-X: Ultimate Scaling for Expressive Human Pose and Shape Estimation",
  "paper_authors": [
    "Wanqi Yin",
    "Zhongang Cai",
    "Ruisi Wang",
    "Ailing Zeng",
    "Chen Wei",
    "Qingping Sun",
    "Haiyi Mei",
    "Yanjun Wang",
    "Hui En Pang",
    "Mingyuan Zhang",
    "Lei Zhang",
    "Chen Change Loy",
    "Atsushi Yamashita",
    "Lei Yang",
    "Ziwei Liu"
  ],
  "publication_date": "",
  "publication_venue": "IEEE Transactions on Pattern Analysis and Machine Intelligence",
  "abstract": "表达性人体姿态与形状估计（EHPS）统一身体、双手和面部动作捕捉，具有大量应用。尽管已有令人鼓舞的进展，当前最先进方法多聚焦于在有限数据集上训练创新架构。本文研究将 EHPS 规模化以构建一族通用基础模型的影响。1）数据规模化方面，系统考察 40 个 EHPS 数据集，涵盖单一数据集训练无法处理的广泛场景；更重要的是，利用广泛基准测试获得的洞见优化训练方案并选择数据集，使 EHPS 能力显著跃升，最终在来自多样数据源的 1000 万个训练实例处出现收益递减。2）模型规模化方面，利用视觉 Transformer（最大骨干为 ViT-Huge）研究 EHPS 中模型尺寸的缩放定律。为排除算法设计影响，实验基于两个极简架构：SMPLer-X 包含手部和面部定位的中间步骤；SMPLest-X 是更简单的版本，将网络缩减到最基本要素，并凸显关节手部捕捉方面的显著进步。借助大数据与大模型，基础模型在多样测试基准上表现强劲，并能极好迁移到未见环境。此外，微调策略将通用模型转化为专家模型，使其性能进一步提升。值得注意的是，基础模型在 AGORA、UBody、EgoBody 以及本文提出用于全面手部评估的 SynHand 等七个基准上持续取得最先进结果。\n",
  "keywords": [
    "表达性人体网格恢复",
    "基础模型",
    "人体姿态估计",
    "单目图像三维人体",
    "三维姿态",
    "全身动作捕捉"
  ],
  "paper_institutions": [
    "SenseTime Research",
    "University of Tokyo",
    "Nanyang Technological University",
    "Tencent AI Lab",
    "SenseTime International Pte. Ltd.",
    "City University of Hong Kong",
    "SenseTime",
    "University of California, Los Angeles",
    "International Digital Economy Academy (IDEA)",
    "Hong Kong University of Science and Technology (Guangzhou)"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:40:05.169427Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文针对单目图像或视频中身体、双手和面部联合估计的 EHPS 任务，指出当前先进方法多依赖新颖结构却只在少量数据集上训练，导致跨场景、遮挡、截断、模糊和低分辨率手部条件下泛化受限；相关研究背景涵盖多阶段裁剪方法、OSX 等一阶段 ViT 方法以及视觉基础模型的规模化趋势。作者系统整理 40 个动作捕捉、伪标注和合成数据集，选择 AGORA、UBody、EgoBody、3DPW、EHF 作为覆盖合成、野外、上身、第一人称截断和工作室跨域评估的五大全身基准，并新增以近景、复杂手势和全身 SMPL-X 标注为特色的 SynHand，结合 ARCTIC 评估手部；该选择经 UMAP 可视化显示分布互补且近似覆盖整体数据池，可用于验证泛化能力而非单一域内性能。方法上提出极简、可扩展的 SMPLer-X 与 SMPLest-X：前者用 ViT 编码器、手部和面部组件引导以及分部件回归头，后者删除特征裁剪式组件引导，仅保留 ViT 编码器、6 层 Transformer 解码器和回归头，并用 80 个任务 token 及手部朝向头建立其与腕部姿态的参数一致性；其核心机制可概括为 SMPL-X 参数 $(\\theta,\\beta,\\psi)$ 经运动学变换 $R_\\theta(\\mathcal{J}(\\beta))$ 得到三维关节，再由图像 token 与任务 token 直接回归全身、手部和表情参数。训练时将全身框图像缩放至 256×192，统一为 HumanData 格式，采用平衡采样、Adam 优化器和余弦退火，在 16 张 V100 上比较 ViT-S/B/L/H 以及 0.75M、1.5M、3M、4.5M、7.5M、10M 实例，以排除算法差异并检验数据与模型缩放定律。评估指标包括 PVE、MPJPE、PA-PVE、PA-MPJPE、AGORA 的 NMVE/NMJE，以及新提出的 MPE、Hand-MPE 和 Hand-PA-MPE；结果显示五大基准全身 MPE 从超过 110 mm 降至约 59 mm，手部主要误差从超过 62 mm 降至约 31 mm，SMPLest-X-H40 取得 58.9 mm MPE、31.6 mm Hand-MPE 和 9.3 mm Hand-PA-MPE，微调出的专家模型在 AGORA 测试集达到 96.2 mm NMVE，并在 EgoBody、UBody 等基准保持先进水平，同时可迁移到未见过的 EHF、ARCTIC 和 DNA-Rendering。这些结果支持多样化数据在约 3M 实例前收益最大、10M 左右饱和，饱和后模型缩放和算法改进更关键，以及一阶段 token 解码器能减少信息损失并显著提升铰接手部估计等结论。真实应用包括动画、游戏、时尚、视频会议、VLOG、社交互动和手物操作，但仍受计算成本、合成-真实域差、低分辨率手部、严重遮挡与截断、参数模型运动链误差累积和基准代表性限制；未来可提升标注质量与多样性、引入逆运动学或直接网格恢复、采用更高分辨率和更大规模的人体预训练骨干，并在充分预训练后探索真正的算法创新。\n\n### 关键要点\n\n- 研究汇集 40 个 EHPS 数据集，分为光学或视觉动捕、伪标注和渲染合成三类，并通过单数据集训练、五基准测试揭示不同基准间存在显著域差。\n- 全身评估使用 AGORA、UBody、EgoBody、3DPW 和 EHF，分别覆盖合成多人、真实上身场景、第一人称严重截断、野外身体和工作室跨域手势；UMAP 显示五者分布互补且对数据池覆盖较广。\n- SynHand 是本文提出的合成基准，使用 SMPL-XL、XRFeitoria、AMASS 身体动作以及 InterHand、AGORA、GRAB 手部姿态生成，并采用近景机位清晰呈现多样化复杂手势。\n- MPE 对多个基准的主要指标取均值，其中 3DPW 使用 MPJPE，AGORA、UBody、EgoBody 和 EHF 使用 PVE；手部 Hand-MPE 与 Hand-PA-MPE 汇总六个基准的手部 PVE 或 PA-PVE。\n- SMPLer-X 采用 ViT 骨干、预测手脸边界框并在特征空间裁剪的组件引导模块，以及身体、手部和表情回归头，保留相对直观的中间定位步骤。\n- SMPLest-X 删除组件引导和显式分部件建模，改用 6 层 Transformer 解码器处理图像特征与 80 个任务 token，并增加手部朝向头约束其与身体腕部姿态一致。\n- 训练输入为全身框裁剪后缩放至 256×192 的图像，划分为 32×24 个 patch；所有数据统一为 HumanData，并通过平衡采样避免大数据集压制小数据集。\n- 缩放实验覆盖 ViT-S、ViT-B、ViT-L 和 ViT-H，以及 0.75M 至 10M 实例；使用 Adam 和余弦退火，在 16 张 V100 上训练，最大的 H40+ 模型需超过 2600 GPU 小时。\n- 数据多样性在约 3M 实例前带来最显著收益，继续增加到 10M 后收益递减并趋于饱和；同等数据量下更大模型通常更好，但 ViT-H 相对 ViT-L 的边际收益已有限。\n- SMPLest-X-H40 取得 58.9 mm 全身 MPE、31.6 mm Hand-MPE 和 9.3 mm Hand-PA-MPE；相对带组件引导的设计，其 Hand-PA-MPE 和 Hand-MPE 分别降低约 15% 和 13%。\n- 通用模型可迁移到训练中未见的 EHF、ARCTIC 和 DNA-Rendering；利用目标训练集及按基准排名选出的四个高相关数据集微调五轮，可低成本得到 AGORA、EgoBody、UBody 等场景的专家模型。\n- 方法仍受合成-真实差距、手部低分辨率、遮挡和截断、参数化运动链末端误差累积、高计算成本以及现有基准不能完全代表真实分布等约束。"
}