# SMPLest-X：用于表达性人体姿态与形状估计的终极缩放方案
尹万奇 $^{ID}$、蔡忠昂 $^{ID}$，IEEE会员；王瑞思、曾爱玲 $^{ID}$，IEEE会员；陈伟、孙庆平 $^{ID}$；梅海燕、王彦军、彭慧恩、张明远 $^{ID}$；张雷 $^{ID}$，IEEE会士；陈昌乐 $^{ID}$，IEEE高级会员；山下笃志 $^{ID}$，IEEE高级会员；杨磊 $^{ID}$；刘子威 $^{ID}$，IEEE会员。
摘要—表达性人体姿态与形状估计（EHPS）将人体、手部及面部的动作捕捉技术整合在一起，拥有众多应用场景。尽管相关研究已取得令人鼓舞的进展，但当前最先进的方法仍局限于在有限的数据集上训练创新的架构设计。在这项工作中，我们探究了将EHPS技术扩展为通用基础模型系列的影响。1）在数据扩展方面，我们对40个EHPS数据集进行了系统性研究，这些数据集涵盖了单一模型无法处理的各类场景。更重要的是，借助大规模基准测试过程中获得的洞察，我们优化了训练方案，挑选出能显著提升EHPS能力的数据集。最终我们发现，当训练样本量达到1000万个来自不同数据源的样本时，性能提升效果开始趋于平缓。2）在模型扩展方面，我们利用视觉Transformer（最高可选取ViT-Huge作为骨干网络）来研究模型尺寸在EHPS任务中的缩放规律。为了排除算法设计带来的干扰，我们的实验基于两种极简架构：SMPLer-X，它包含手部与面部定位的中间步骤；以及更简单的SMPLest-X版本，该版本简化了网络结构以凸显其在关节手部捕捉方面的显著进步。借助大数据与大模型，这些基础模型在各类测试基准中均展现出强劲的性能，且对未见过的环境也具备出色的迁移能力。此外，我们的微调策略能将通用模型转化为专用模型，从而进一步提升其性能。
值得注意的是，我们的基础模型在AGORA、UBody、EgoBody以及我们提出的用于全面评估手部性能的SynHand数据集等七个基准测试中，均持续取得最先进的成果。
索引词—表达性人体网格恢复、基础模型、人体姿态估计、单目图像三维人体重建、三维姿态、全身动作捕捉。
## 一、引言
从单目图像或视频中进行的表达性人体姿态与形状估计（EHPS）这一创新领域，为动画、游戏和时尚行业带来了变革性的应用。该任务通常采用参数化人体模型（如SMPL-X [^1]）作为人体、面部及手部的强大表征方式。近年来，大量多样化的数据集相继问世 [^2]、[^3]、[^4]、[^5]、[^6]、[^7]、[^8]、[^9]、[^10]、[^11]，为学界研究捕捉环境、姿态分布、身体可见性及相机视角等各个方面提供了新的机遇。然而，当前最先进的方法仍将注意力集中在架构设计的改进上，且局限于少数几个数据集，这造成了跨场景性能的瓶颈，也阻碍了模型在未见情况下的泛化能力。
本研究的首要任务是全面探索现有的数据资源，从而为构建稳健且普遍适用的EHPS模型提供关键依据。为此，我们利用40个数据集建立了EHPS的系统化基准，并在五个主要基准上对它们进行了性能评估。研究发现，不同基准之间存在显著差异，反映出EHPS领域的复杂性，这也凸显出通过扩大数据规模来弥合不同场景间差距的必要性。这一详尽分析强调了重新评估EHPS现有数据集利用方式的重要性，呼吁向更具包容性的数据选择模式转变，以提升模型在真实场景中的表现。具体而言，我们提出了一种用于衡量全身及手部姿态的新指标——平均主要误差（MPE），以便在一组关键基准上全面评估模型的泛化能力。本研究着重指出，充分利用多种数据集以发挥它们的互补优势至关重要。此外，我们还贡献了一个新数据集SynHand，旨在为
---
Fig. 1. Scaling up EHPS. (a) Whole-body and (b) hand-only mean primary error (MPE) indicate both data and model scaling are effective in reducing mean errors on primary metrics across key benchmarks for: AGORA [^12], UBody [^6], EgoBody [^5], 3DPW [^13] and EHF [^14]. OSX [^6] and HybrIK-X [^15] are SOTA methods. Area of the circle indicates model size, with ViT variants as the reference (top right in the left figure).
为学术界提供一个期待已久的、用于全身环境下手部姿态综合评估的基准。SynHand包含了大量特写镜头下的人体手部姿态数据，且这些姿态已作为全身SMPL-X标签的一部分被精确标注。
基于从基准测试中获得的知识，我们进一步展示了大规模精选数据在构建SMPLer-X和SMPLest-X这类通用基础模型中的强大作用。这两类模型利用了多样化的数据集进行训练，能够在各种场景下取得极为均衡的性能表现。为了与算法研究相分离，我们秉持极简理念设计了SMPLer-X和SMPLest-X：它们的架构非常简单。其中，SMPLer-X采用了相对传统的中间步骤来处理手部与面部引导问题；而SMPLest-X正如其名，仅保留了EHPS中最核心的组件（编码器、解码器和回归头）。尽管SMPLer-X和SMPLest-X的设计旨在支持大规模数据与参数扩展，而非对算法细节进行深入探究，但我们要强调的是，这种简洁性并未削弱它们的整体性能；令人惊讶的是，SMPLest-X在单阶段手部估计任务中甚至展现出独特优势。
通过针对不同数据组合与模型规模进行的实验，我们最终得到了一个性能全面的模型，该模型在所有基准测试中的表现均优于以往依赖有限数据集训练的模型。值得注意的是，我们的基础模型通过数据规模扩大与模型参数增加，性能得到了显著提升：在五个主要基准（AGORA [^12]、UBody [^6]、EgoBody [^5]、3DPW [^13] 和 EHF [^14]）上，全身平均主要误差从超过110毫米降至60毫米以下；在六个主要基准上，手部主要误差则从超过62毫米降至31毫米（如图1所示）。此外，这些模型还表现出出色的泛化能力，能够有效应用于DNA-Rendering [^11] 和 ARCTIC [^8] 等新场景。我们还验证了将这类通用基础模型微调为特定领域专用模型的有效性，结果显示它们在所有基准上均取得了卓越性能。具体而言，我们采用同样的数据选择策略，使专用模型在AGORA排行榜上创造了新纪录：在NMVE指标上达到96.2毫米，手部MVE指标达到31.1毫米，同时在EgoBody和UBody等关键基准上也实现了最先进的性能。
我们的贡献主要有三点。1）我们系统性地研究了现有的EHPS数据集。这包括构建首个针对EHPS数据集的系统性基准测试，为扩充训练数据以开发鲁棒且可迁移的EHPS提供重要指导；同时提出SynHand这一更优的全身基准测试，专门用于手部评估。2）我们设计了专为规模化应用量身定制的简约型基础模型（SMPLer-X和SMPLest-X）。尽管它们结构简单，却展现出出色的全身性能；其中SMPLest-X在纯单阶段模式下也表现出优异的手部性能。3）我们研究了数据与模型规模扩展对EHPS的影响，结果表明：当训练数据量达到300万实例时，性能提升最为显著；超过1000万实例后，改进效果会逐渐趋于饱和。基于此，我们构建了能在多种场景下均取得均衡且出色表现的通用基础模型，该模型还能成功应用于未见过的数据集；进一步微调后，它能蜕变为在多个关键基准测试中表现卓越的专业模型。
### 二、相关工作
富有表现力的人体姿态与形状估计（EHPS）：由于富有表现力的虚拟形象应用日益兴起，以及全身参数化模型（如SMPL-X [^14]）的出现，能够从图像中同时估计身体、手部和面部姿态与形状的富有表现力的人体姿态与形状估计（EHPS）受到了越来越多的关注 [^6], [^14], [^44], [^45], [^46], [^47], [^48], [^49], [^50]。基于优化的方法（如SMPLify-X [^14]）会检测与全身对应的二维特征，并对SMPL-X模型进行拟合。不过，这类方法存在速度慢、性能差的问题。因此，基于学习的方法应运而生。EHPS面临的关键挑战之一是：与仅针对身体的估计相比，手部与面部的分辨率较低，这给关节手部姿态估计和高质量表情捕捉带来了困难。相应地，主流的全身模型会先检测并裁剪出手部和面部的图像块，然后再调整其尺寸。
---
它们会被缩放至更高分辨率，再输入专门的手部和面部网络以估计对应参数 [^15], [^45], [^46], [^47], [^48], [^49], [^50], [^51]。由于这类高度复杂的多阶段流程，难免会导致网格关节运动不一致且不自然，以及3D手腕旋转不符合常理，尤其在存在遮挡、截断或模糊的场景中更为明显。OSX [^6]提出了首个基于ViT骨干网络 [^52] 的单阶段框架，随后又出现了AiOS [^53]和Multi-HMR [^54]等新方法。这类方法无需单独的检测阶段，将定位与参数估计整合为单一流程。因此，这种架构缓解了以往多阶段流程中的问题，提升了在检测不完美场景下的EHPS性能。尽管设计简洁，但它们为了公平比较仅使用了有限规模的训练数据集，并未探索通过更多数据组合来实现具备泛化能力和精确性的EHPS。
基础模型：基础模型的概念已在各个领域 [^55], [^56], [^57], [^58] 以及多种模态 [^59], [^60], [^61], [^62], [^63], [^64], [^65], [^66], [^67], [^68], [^69] 产生了深远影响。在通用视觉任务中，SAM [^64], [^65] 率先实现了大规模的可提示分割，在超过十亿个掩码上进行训练，并在图像和视频上均展现出强大的跨领域零样本泛化能力。在分割之外，DINO 系列模型 [^66], [^67], [^70], [^71] 表明，利用大规模数据进行 ViT 的自监督训练并扩大模型规模，可以产生通用的表征，有效地迁移到分类、分割和深度估计任务。Depth Anything 模型家族 [^68], [^69] 将基础模型范式扩展到单目深度估计，为真实场景下的可泛化深度估计提供了可扩展的预训练。最近，VGGT [^59] 作为在大规模数据集集合上训练的 3D 视觉基础模型，在多项 3D 任务上取得了最先进的结果，并可进一步微调以用于各种下游应用。
面向人体视觉的大规模训练：近期的研究利用多个数据集来预训练通用模型，以应对各类下游人体相关任务。例如，HumanBench模型[^72]利用了37个数据集，而UniHCP模型[^73]则使用了33个数据集，用于行人重识别、行人检测及2D姿态估计等任务。不过，这些研究仅评估了其在2D任务中的效果。Sapiens模型[^74]在3亿张高分辨率人体图像上训练而成，在2D姿态估计、部件分割、深度估计及表面法线预测等任务中表现优异，超越了针对特定任务的基线模型。Sárándi等人[^75]利用28个数据集训练出了用于3D关键点检测的强大模型，该模型仅能恢复人体的骨骼结构，无法估算身体形状和网格；Pang等人[^76]分析了31个用于人体姿态与形状估计（即SMPL估计）的数据集，但其中并未涵盖手部与面部估计，且最多同时使用的数据集数量不足十个。HaMeR模型[^77]整合了10个数据集，包含多达270万个训练样本，用于训练仅针对3D手部重建的Transformer模型。NLF模型[^78]能够混合不同标注格式的数据源，包括参数化标注、3D关键点标注、2D关键点标注以及DensePose标注；不过由于手部采样点有限，其手部姿态估计精度较低。本文旨在攻克更为困难且关键的人体、手部及面部姿态与形状估计任务，通过扩大训练数据与模型规模，精准还原人体的富有表现力的姿态与形状，以及手部和面部的细节。
### III. EHPS数据集基准测试
### A. preliminaries
SMPL-X：我们通过三维参数化人体模型SMPL-X [^1]来研究富有表现力的人体姿态与形状估计，该模型利用参数对人体、手部及面部几何形状进行建模。具体而言，我们的目标是估计姿态参数$\theta \in \mathbb{R}^{55 \times 3}$，包括身体、手部、眼睛及下颌的姿态；关节处的身体、手部和面部形状$\beta \in \mathbb{R}^{10}$，以及面部表情$\psi \in \mathbb{R}^{10}$。关节回归器$\mathcal{J}$用于通过$R_\theta(\mathcal{J}(\beta))$从参数中获取三维关键点，其中$R_\theta$是沿运动树进行的变换函数。
评估指标：我们采用EHPS的标准评估指标。PVE（顶点误差）和MPJPE（平均关节位置误差）分别用于衡量顶点与回归关节之间的平均L2距离。“PA”前缀表示在误差计算前会先进行Procrustes对齐。AGORA排行榜[^12]引入了NMVE（归一化平均顶点误差）和NMJE（归一化平均关节误差），这两个指标会考虑检测性能的F1分数。此外，我们提出了MPE（平均主要误差），它取多个主要指标的平均值（针对3DPW数据集[^13]使用MPJPE，针对AGORA-val、UBody、EgoBody和EHF数据集使用PVE），用以评估模型的泛化能力。与全身指标类似，我们针对腕部对齐的手部姿态提出了hand-MPE（手部PVE的平均值），针对来自多个数据集（AGORA-val、UBody、EgoBody、EHF、ARCTIC和SynHand）的手部局部姿态提出了hand-PA-MPE（手部PA-PVE的平均值），以此评估各关键基准测试中的手部姿态估计性能。由于3DPW数据集[^13]仅提供用于纯身体评估的SMPL格式标注，因此我们在手部相关指标的计算中将其替换为ARCTIC数据集[^8]。所有误差均以毫米为单位报告。
### B. 数据源概述
在本研究中，我们从三大类数据源中收集了40个数据集。1）动作捕捉数据集利用光学[^8]、[^9]、[^30]、[^31]、[^34]、[^35]、[^38]或基于视觉的[^5]、[^11]、[^27]、[^42]多视角动作捕捉系统，通常在演播室环境中采集。不过，也有可能采用户外设置，或利用惯性测量单元、激光雷达等额外传感器[^13]、[^26]、[^36]。这类数据集通常能提供高质量的3D标注，但受物理条件限制灵活性较差，尤其是采用光学动作捕捉系统的数据集。2）伪标注数据集[^6]、[^10]、[^17]、[^19]、[^20]、[^21]、[^24]、[^25]、[^29]、[^32]、[^33]、[^37]、[^39]、[^40]、[^41]、[^43]、[^79]，它们为现有图像数据集重新标注参数化人体信息。这类数据集利用了2D数据集的多样性优势，尽管其伪3D标注的质量通常不高，但已被证明效果显著[^76]。3）合成数据集[^2]、[^3]、[^4]、[^12]、[^22]、[^28]，由渲染引擎（如Unreal Engine）生成。这类数据集能产出最精确的3D标注，且易于扩展出高度多样化的数据。不过，
---
TABLEI
BENCHMARKING EHPS DATASETS. FOR EACH DATASET, WE TRAIN A MODEL ON ITS TRAINING SET AND EVALUATE ITS PERFORMANCE ON THE TESTING SETS OF FIVE MAJOR BENCHMARKS: AGORA, UBODY, EGOBODY (EGOSET), 3DPW, AND EHF. DATASETS ARE THEN RANKED BY MEAN PRIMARY ERROR (MPE). TOP-1 VALUES ARE BOLDED, AND THE REST OF TOP-5 ARE UNDERLINED. #INST.: NUMBER OF INSTANCES USED IN TRAINING. ITW: IN-THE-WILD. EFT [^16], NEURALANNOT (NEA) [^17] AND UP3D [^18] PRODUCE PSEUDO LABELS. UNIT: MM.
| Dataset | #Inst. | Scene | Real/Synthetic | SMPL | SMPL-X | AGORA [^12] | UBody [^6] | EgoBody [^5] | 3DPW [^13] | EHF [^14] | MPE\downarrow |
| PVE\downarrow | ★ | PVE\downarrow | ★ | PVE\downarrow | ★ | MPJPE\downarrow | ★ | PVE\downarrow | ★ |
| BEDLAM [^2] | 951.1K | ITW | Syn | - | Yes | 164.7 | 4 | 132.5 | 8 | 109.1 | 2 | 98.1 | 2 | 81.1 | 1 | 117.1 |
| SynHand | 462.8K | ITW | Syn | - | Yes | 182.3 | 6 | 141.2 | 10 | 111.0 | 3 | 108.35 | 9 | 99.1 | 4 | 128.4 |
| SynBody [^4] | 633.5K | ITW | Syn | - | Yes | 166.7 | 5 | 144.6 | 12 | 136.6 | 8 | 106.5 | 7 | 112.9 | 8 | 133.5 |
| InstaVariety [^19] | 2184.8K | ITW | Real | NeA | - | 195 | 11 | 125.4 | 4 | 140.1 | 13 | 100.6 | 4 | 110.8 | 7 | 134.3 |
| GTA-Human [^3] | 1802.2K | ITW | Syn | - | Yes | 161.9 | 3 | 143.7 | 11 | 139.2 | 12 | 103.4 | 6 | 126 | 15 | 134.8 |
| MSCOCO [^20] | 149.8K | ITW | Real | EFT | NeA | 191.6 | 10 | 107.2 | 2 | 139 | 11 | 121.2 | 15 | 116.3 | 10 | 135.0 |
| AGORA [^12] | 106.7K | ITW | Syn | Yes | Yes | 124.8 | 1 | 128.4 | 6 | 138.4 | 10 | 131.1 | 17 | 164.6 | 30 | 140.6 |
| EgoBody-MVSet [^5] | 845.9K | Indoor | Real | Yes | Yes | 190.9 | 9 | 191.4 | 22 | 127.0 | 4 | 99.2 | 3 | 101.8 | 5 | 142.1 |
| IDEA400 [^21] | 1362.9K | Indoor | Real | - | Yes | 213.4 | 23 | 193.7 | 23 | 129.4 | 5 | 106.6 | 8 | 91.4 | 2 | 146.9 |
| WHAC-A-Mole [^22] | 2500.4K | ITW | Syn | - | Yes | 184.6 | 7 | 150.7 | 14 | 130.8 | 6 | 117.7 | 13 | 152.8 | 26 | 147.3 |
| EgoBody-EgoSet [^5] | 90.1K | Indoor | Real | Yes | Yes | 207.1 | 19 | 126.8 | 5 | 103.1 | 1 | 134.4 | 23 | 121.4 | 13 | 147.5 |
| RICH [^23] | 243.4K | ITW | Real | - | Yes | 195.6 | 12 | 168.1 | 19 | 137.9 | 9 | 115.5 | 12 | 127.5 | 16 | 148.9 |
| MPII [^24] | 28.9K | ITW | Real | EFT | NeA | 202.1 | 13 | 123.9 | 3 | 155.5 | 19 | 131.9 | 19 | 140.8 | 19 | 150.8 |
| MuCo-3DHP [^25] | 465.3K | ITW | Real | Yes | - | 187.7 | 8 | 185.4 | 21 | 146.4 | 16 | 119.4 | 14 | 134.7 | 18 | 154.7 |
| EMDB [^26] | 109.8K | ITW | Real | Yes | - | 205.9 | 17 | 202.8 | 25 | 136.1 | 7 | 97.8 | 1 | 148.4 | 23 | 158.2 |
| PROX [^27] | 88.5K | Indoor | Real | - | Yes | 204.1 | 15 | 180.3 | 20 | 151.8 | 17 | 132.5 | 22 | 122.5 | 14 | 158.2 |
| UBody [^6] | 683.3K | ITW | Real | - | Yes | 207 | 18 | 78.7 | 1 | 145.6 | 15 | 149.4 | 29 | 132.1 | 17 | 158.5 |
| SPEC [^28] | 72.0K | ITW | Syn | Yes | - | 161.5 | 2 | 146.1 | 13 | 154.8 | 18 | 139.7 | 26 | 197.8 | 34 | 160.0 |
| CrowdPose [^29] | 28.5K | ITW | Real | NeA | - | 207.1 | 20 | 129.8 | 7 | 156.9 | 20 | 156.3 | 31 | 154.5 | 27 | 160.9 |
| MPI-INF-3DHP [^30] | 939.8K | ITW | Real | NeA | NeA | 221.5 | 26 | 166.7 | 18 | 142.7 | 14 | 131.6 | 18 | 155.5 | 28 | 163.6 |
| HumanSC3D [^31] | 288.4K | Studio | Real | - | Yes | 215.2 | 24 | 237.8 | 28 | 167.3 | 21 | 113 | 11 | 107.1 | 6 | 168.1 |
| PoseTrack [^32] | 28.5K | ITW | Real | EFT | - | 218.1 | 25 | 161 | 15 | 180.8 | 26 | 150.2 | 30 | 149.9 | 25 | 172.0 |
| BEHAVE [^7] | 44.4K | Indoor | Real | Yes | - | 208.3 | 21 | 205.8 | 26 | 175.8 | 24 | 132 | 20 | 145 | 21 | 173.4 |
| CH3D [^9] | 252.4K | Studio | Real | - | Yes | 203.3 | 14 | 264.7 | 32 | 175.7 | 23 | 122.6 | 16 | 121 | 12 | 177.5 |
| DAMON [^33] | 4.4K | ITW | Real | Yes | - | 222.2 | 27 | 161.2 | 16 | 174.8 | 22 | 173 | 32 | 164.4 | 29 | 181.5 |
| Human3.6M [^34] | 312.2K | Studio | Real | Yes | NeA | 226 | 28 | 276.1 | 33 | 200.6 | 30 | 112.3 | 10 | 120.8 | 11 | 187.2 |
| Hi4D [^35] | 186.5K | Studio | Real | Yes | - | 213.2 | 22 | 330.5 | 37 | 204.1 | 32 | 102.1 | 5 | 93.5 | 3 | 188.7 |
| DNA-R-HiRes [^11] | 998.1K | Studio | Real | - | Yes | 230 | 29 | 278.2 | 34 | 179.2 | 25 | 134.5 | 24 | 149.7 | 24 | 194.3 |
| SLOPER4D [^36] | 33.2K | ITW | Real | - | Yes | 205.3 | 16 | 255.1 | 29 | 190 | 28 | 140.3 | 27 | 189.2 | 32 | 196.0 |
| 3DPW [^13] | 22.7K | ITW | Real | Yes | NeA | 234 | 30 | 259.3 | 30 | 192.6 | 29 | 140.6 | 28 | 142.9 | 20 | 207.2 |
| ARCTIC [^8] | 1539.1K | Studio | Real | - | Yes | 308.5 | 36 | 200.7 | 24 | 186.4 | 27 | 202.5 | 33 | 182.5 | 31 | 216.1 |
| DNA-R [^11] | 3992.0K | Studio | Real | - | Yes | 274.7 | 33 | 341.5 | 38 | 214.4 | 35 | 138.4 | 25 | 115.5 | 9 | 216.9 |
| UP3D [^18] | 7.1K | ITW | Real | UP3D | - | 257.5 | 31 | 224.1 | 27 | 216.6 | 36 | 211.5 | 34 | 194.8 | 33 | 220.9 |
| Talkshow [^10] | 3326.9K | Indoor | Real | - | Yes | 286.4 | 34 | 133.2 | 9 | 203.6 | 31 | 291.3 | 36 | 201.9 | 36 | 223.3 |
| SignAvatars [^37] | 4975.1K | Studio | Real | - | Yes | 317.4 | 37 | 164.6 | 17 | 207.2 | 33 | 306.82 | 38 | 201.47 | 35 | 239.5 |
| FIT3D [^38] | 1779.3K | Studio | Real | - | Yes | 329.7 | 38 | 404 | 39 | 213.8 | 34 | 132.1 | 21 | 148.1 | 22 | 245.5 |
| MTP [^39] | 3.2K | ITW | Real | Yes | Yes | 272.7 | 32 | 284.9 | 35 | 273.2 | 37 | 265.2 | 35 | 244.6 | 37 | 268.1 |
| OCHuman [^40] | 2.5K | ITW | Real | EFT | - | 307.1 | 35 | 263.3 | 31 | 279.3 | 38 | 293.4 | 37 | 281.7 | 38 | 285.0 |
| LSPET [^41] | 2.9K | ITW | Real | EFT | - | 365.7 | 39 | 292.6 | 36 | 340.1 | 40 | 339.8 | 40 | 316.3 | 39 | 330.9 |
| MoYo [^42] | 1668.4K | Studio | Real | - | Yes | 481.8 | 40 | 436.4 | 40 | 301.7 | 39 | 335 | 39 | 421.1 | 40 | 395.2 |
| SSP3D [^43] | 311.0K | ITW | Real | Yes | - | 549.8 | 41 | 522.4 | 41 | 548.1 | 41 | 439 | 41 | 539.5 | 41 | 519.8 |
合成数据与真实数据之间的差距尚未完全弥合。各数据集的关键属性详见表I。
### C. 全身姿态评估基准
为了评估EHPS在不同场景下的能力，我们选取了多个关键数据集来构建全面的基准测试。这些数据集应具备以下理想特征：1）包含准确的SMPL或SMPL-X标注；2）能代表现实场景的某些方面；3）被广泛使用，但对于两年内发布的新数据集，这一要求可适当放宽；4）有明确的测试集。基于此，我们选取了五个涵盖不同方面的数据集——AGORA [^12]、UBody [^6]、EgoBody [^5]、3DPW [^13]和EHF [^14]，作为全身姿态评估的测试数据集。我们在补充材料中简要介绍了这些评估数据集及其他相关内容。AGORA是应用最广泛的SMPL-X评估基准，它是一套合成数据集，包含多样化的受试者外观、姿态和环境，且标注质量高。我们同时在验证集和测试集（排行榜）上进行评估，因为排行榜每月的提交次数有限制。UBody是最新发布的大规模数据集，带有伪SMPL-X标注，涵盖了十五种现实生活场景，如脱口秀、视频会议和VLOG，这类场景中图像主要呈现上半身。我们遵循场景内训练与测试协议，即所有场景均会被纳入训练与测试。EgoBody捕捉了3D场景中社交互动时的人体运动，带有伪SMPL-X标注，它包含第一人称视角数据集（EgoSet）和第三视角多摄像头数据集（MVSet）。我们在存在严重遮挡和不可见情况的EgoSet上进行测试。3DPW是最受欢迎的野外场景数据集，带有SMPL标注；由于缺少SMPL-X标注，我们按照[^14]的方法，将SMPL-X格式的估计结果转换为SMPL拓扑结构后再进行评估。EHF是一套经典数据集，包含室内工作室环境中一名受试者的100帧精选画面，标注了多样化的身体姿态，尤其是手部姿态的SMPL-X顶点信息；它有测试集但没有训练集或验证集，因此仅用于评估跨数据集性能。
除了作为 EHPS 的热门或最新评估集之外，我们进一步分析了这五个数据集是否共同对现有数据集提供了广泛覆盖。在图 2 中，我们将所有数据集随机下采样到相同长度（1 K 个样本），并使用 UMAP [^80] 来可视化几个关键方面。我们使用来自 HumanBench [^72] 的预训练 ViT-L 和 OSX [^6]，处理由边界框裁剪的图像中展平为特征向量的 patch tokens。HumanBench 面向各种以人为中心的任务（例如 Re-ID、部件分割和 2D
---
a) Appearance (HumanBench)
b) Global Orient
d) Appearance (OSX)
c) Body Pose
e) Scenes
f) Real/Synthetic
Fig. 2. Dataset attribute distributions. (a) and (d) are image feature extracted by HumanBench [^72] and OSX [^6] pretrained ViT-L backbone. (b) Global orientation (represented by rotation matrix) distribution. (c) Body pose (represented by 3D skeleton joints) distribution. Both (e) scenes and (f) Real/eot are drawn on the same distribution as (d). All: all datasets. UMAP [^80] dimension reduction is used in all visualization with the x and y-axis as the dimensions of the embedded space.
姿态估计），而 OSX 是 EHPS 方面的专家模型。对于全局朝向，由于我们将所有数据转换到相机坐标系中，它与相机姿态密切相关；我们通过使用展平的旋转矩阵表示来绘制其分布。此外，我们遵循 [^3]、[^76]、[^81]，将姿态表示为从参数化模型回归得到的 3D 关键点。具体而言，我们展平 21 个 SMPL-X 身体关键点，以及每只手 15 个手部关键点，这些关键点以平均参数回归得到，但身体姿态和手部姿态除外。更多评估见补充材料。结果表明：1）这五个基准数据集具有不同的分布，这符合预期，因为它们的设计用途不同；2）总体而言，这五个数据集对整个数据集池提供了广泛且接近完整的覆盖。
### D. 各数据集上的基准测试
在本节中，我们旨在对数据集进行基准测试，找出在各种场景下表现优异的数据集。为了评估每个数据集的性能，我们使用该数据集的训练集来训练一个模型（以ViT-S为骨干网络的SMPLer-X，训练5个周期；模型架构详见第IV-A节），并在五个评估数据集的测试集上对该模型进行评估：AGORA、UBody、EgoBody、3DPW和EHF。
在表I中，我们报告了主要指标（见第III-A节）以及40个数据集的排名。我们还计算了平均主要误差（MPE），以便于对各数据集进行简单比较。需要注意的是，对于AGORA、UBody、EgoBody和3DPW而言，它们在自身测试集上的表现不纳入MPE的计算范围。这是因为域内评估结果通常远优于跨域评估结果，会导致误差显著下降。此外需注意的是，有些数据集是专为特定用途设计的（例如，用于手势生成的Talkshow [^10]、用于人体NeRF重建的DNA-Rendering [^11]、用于复杂人体动作物理合理性研究的MoYo [^42]，以及用于手语动作研究的SignAvatars [^37]）；它们在我们侧重于EHPS（感知任务）的基准测试中排名较低，但这并不削弱其对计算机视觉领域的独特价值和贡献。
从基准测试结果来看，我们发现仅在单一数据集上训练的模型往往在同一领域内表现良好，但在其他领域却往往表现不佳。例如，在AGORA上训练的模型在AGORA上的排名是$1^{st}$，而在UBody上为$6^{th}$，在EgoBody上为$10^{th}$，在3DPW上为$17^{th}$，在EHF上为$30^{th}$。这一观察结果说明：1）测试场景具有多样性，反映出EHPS任务的挑战性；2）由于不同领域之间存在显著差异，数据规模扩展对于训练出鲁棒且可迁移的EHPS模型至关重要。
### E. 手部评估基准
为了全面评估全身场景下手部的性能，我们选取了两个额外的数据集来进行手部姿态评估。首先，ARCTIC是一个基于实验室的手部-物体交互数据集，包含各种场景下身体姿态和手部姿态的精确SMPL-X标注。该数据集涉及10名受试者与11种物体的互动，共采集到21万帧视频。其次，SynHand是本研究中引入的合成数据集（下文将详细介绍），它具有特写人体画面、多样化的带服装人体形态，以及丰富的表情手部姿态。
我们推出SynHand，这是一个专门为EHPS估计设计的合成数据集，其研发初衷正是为了克服手部姿态估计面临的挑战。1）在许多不侧重手部的全身数据集中，经常能观察到处于放松状态的手部姿态。这类数据集在数据收集过程中往往缺乏针对手部姿态的具体设计或筛选标准。
---
Fig. 3. Analysis of hand poses in whole-body datasets. The distribution of the distance to the relaxed hand pose of each dataset (top) is shown along with the illustration of pose complexity at various distances (bottom). The hand pose with a lower distance is more similar to the relaxed pose.
2）主流全身数据集中的图像，比如采用大视场角（FOV）[^5]、[^12]拍摄或渲染的图像，通常会在单帧中包含多个人物。然而，这种大视场角是以分辨率降低为代价的，导致图像中的手部分辨率低甚至几乎不可见。3）与可通过标记辅助标注的演播室拍摄数据集不同[^8]，为野外采集的数据集获取精确的手部姿态标注仍颇具挑战性。
SynHand利用分层人体模型SMPL-XL [^4]以及先进的合成渲染工具箱XRFeitoria [^83]，来生成具有多样化体型、服装和配饰的虚拟人类照片级真实图像。为了清晰且完整地捕捉手部细节，相机位置经过精心优化以实现特写拍摄，从而确保视觉呈现的精细度。此外，手部姿态数据取自InterHand [^84]、AGORA [^12]和GRAB [^85]数据集，这些数据遵循BEDLAM [^2]的标准；而身体姿态则来源于AMASS [^86]数据集。针对身体姿态，我们从AMASS中精心挑选了100个动作，这些动作能够有效体现手部运动，例如手腕前伸且遮挡较少的动作。选择这些动作是为了确保通过合理的相机布置能够突出手部姿态。其中80%的身体姿态样本来自这一子集，剩余20%则从整个AMASS数据集中随机选取。对于手部姿态，左右手分别从这三个数据集中独立随机抽取。我们采用了InterHand数据集官方提供的训练集与测试集划分方式。随后，将这些全身姿态结合起来驱动SMPL-XL模型，从而形成本数据集的运动序列。在数据生成的其余方面，如场景设置与渲染配置，均参照PDHuman数据集 [^87]中的方法。图4展示了SynHand数据集中具有复杂手部姿态且标注精准的示例。我们还在表II中提供了基于SynHand的基准测试结果。
图3解释了为何选择ARCTIC和SynHand作为EHPS中手部姿态估计的关键基准测试数据集。
Fig. 4. Visualization of SynHand dataset with complex hand poses and accurate annotations.
TABLE II
BENCHMARKING EHPS METHODS ON SYNHAND. UNIT: MM. * DENOTES THAT THE METHOD USES INTEGRATED DETECTION RESULTS, F1=98.0
| Method | All | Hands | Face |
| PA-PVE $\downarrow$ | PVE $\downarrow$ | PA-PVE $\downarrow$ | PVE $\downarrow$ | PA-PVE $\downarrow$ | PVE $\downarrow$ |
| Hand4Whole [^51] | 64.9 | 116.3 | 11.7 | 50.8 | 3.8 | 44.2 |
| PyMAF-X [^82] | 63.5 | 112.6 | 11.8 | 49.2 | 3.6 | 44.9 |
| OSX [^6] | 60.6 | 107.0 | 16.7 | 55.6 | 4.0 | 41.6 |
| HybrIK-X [^15] | 53.6 | 96.5 | 16.7 | 50.4 | 6.0 | 43.6 |
| AiOS [^53] | 52.2 | 94.1 | 11.8 | 43.9 | 3.3 | 33.5 |
| Multi-HMR $^{{*}}$ [^54] | 38.2 | 70.3 | 11.6 | 35.2 | 3.3 | 29.7 |
| SMPLer-X-H32 | 37.7 | 64.7 | 14.0 | 42.7 | 3.1 | 28.5 |
| SMPLer-X-H40 | 29.2 | 47.6 | 10.3 | 32.0 | 2.9 | 22.7 |
| SMPLest-X-H32 | 37.3 | 63.9 | 12.4 | 38.6 | 3.1 | 28.1 |
| SMPLest-X-H40 | 21.7 | 34.4 | 9.8 | 23.7 | 2.1 | 15.4 |
图3展示了对17个包含手部姿态标注的典型全身数据集的分析结果。该图反映了手部姿态相对于放松状态手部（即所有手部姿态参数均为零时）的距离分布。需要注意的是，放松状态下的手部手指会自然弯曲。具体而言，系统会计算每个数据集中每种手部姿态相对于放松状态手部的平均顶点位置距离。距离值越大，说明与放松状态手部的偏差越大，也就意味着手部姿态越复杂且可能越具代表性。这17个数据集根据其与放松状态手部的中位距离进行排序。值得注意的是，SynHand的中位距离值最大，其手部姿态分布范围从不到5到超过35不等；ARCTIC在该排名中也位居前列。
### IV. 基础模型
### A. 架构设计
需要强调的是，训练基础模型的成本极高，因此无法进行大规模的架构搜索。基于此，我们提出了简约型的基础模型框架SMPLer-X和SMPLest-X，仅保留最核心的部分，原因有二：首先，由于训练所需数据量庞大，模型必须具备可扩展性和高效性；其次，我们希望构建一种与特定算法设计相解耦的框架，为未来的研究奠定清晰的基础。
---
Fig. 5. Architecture of SMPLest-X. Compared with other frameworks with algorithmic modules in various stages (bottom), SMPLest-X (top) has a minimalistic framework design in all three stages. Noted that SMPLer-X consists of B. Component Guiding module in the decoder stage.
如图5所示，主流框架可概括为三个阶段：编码阶段、解码阶段和回归阶段。创新性的模型设计通常会在其中一个或多个阶段引入。我们的极简框架简化了每个阶段，使得SMPLer-X和SMPLest-X在编码阶段无需在部件级编码之后再使用手部或面部解码器[^46]、[^51]、[^82]。该框架还避免了解码阶段出现跨部件特征交互模块[^45]、[^48]，以及粗粒度SMPL-X估计的投影[^50]；回归阶段也无需后续处理[^15]。
在解码阶段，SMPLer-X仅保留引导组件模块，这种设计对于部件级估计而言十分直观。如图5所示，SMPLer-X由三部分组成：用于提取图像特征的骨干网络——出于可扩展性考虑，我们在编码阶段采用了Vision Transformer[^52]；解码阶段包含引导组件模块，该模块能从特征图中预测边界框并裁剪出手部与面部的感兴趣区域；回归阶段则设有多个回归头，用于估计各部件的参数（如身体朝向、身体姿态、手部姿态及表情）。SMPLer-X中的引导组件模块在功能上类似于特征空间中的手部与面部边界框检测器。从裁剪后的特征中回归出的手部关节点可用于指导信息提取。不过，这种方式在从原始编码特征中裁剪时会造成大量信息丢失，进而在解码阶段引发误差累积。
为了进一步简化设计，SMPLest-X摒弃了引导组件模块，取而代之的是没有显式部件建模功能的Transformer解码器。顾名思义，SMPLest-X是一个比SMPLer-X更极简的框架。通过将引导组件模块替换为Transformer解码器，我们发现手部姿态估计的性能有了显著提升。
### B. 实现细节
如图5所示，SMPLer-X和SMPLest-X采用了极简的设计。在输入主干网络之前，图像会先通过全身边界框进行裁剪，并调整大小为I，其（高度，宽度）为(256, 192)。随后图像被分割成大小为16的$32 \times 24$个图像块，经过图像块嵌入处理，再加入位置编码以得到图像标记$T_{img}$。$T_{task}$是额外的可学习标记（任务标记），它们会与$T_{img}$拼接在一起。对于SMPLer-X而言，$T_{task}$是专为人体姿态设计的，其尺寸为(25, $D_{feat}$)，其中$D_{feat}$表示特征的维度。SMPLest-X则将任务标记的总尺寸扩展至(80, $D_{feat}$)，新增了用于手部姿态、面部表情、身体及手部方向与平移的$T_{hands}$、$T_{face}$、$T_{orients}$和$T_{trans}$。需要注意的是，由于手部姿态的复杂度与人体姿态相当，因此手部姿态标记$T_{hands}$的总维度为(30, $D_{feat}$)。这些标记随后会被送入主干网络进行处理。得益于ViT的可扩展性[^52]，我们能够尝试不同规模的模型。在解码阶段，SMPLer-X的颈部模块会对编码器输出的图像特征$F_{img}$进行处理，进而预测面部和手部边界框。预测得到的边界框会被用于ROI（感兴趣区域）模块，以从$F_{img}$中裁剪出特征；这些特征会被重新组织，并经过转置卷积（反卷积）处理。组件引导模块包含一个用于预测人体及手部3D关键点的位置网络。带有关键点引导信息的$F_{img}$会与相应的任务标记一同被送入回归头。而SMPLest-X则是将$F_{img}$与$T_{task}$拼接后，送入一个由6层组成的解码器，而非组件引导模块。解码后的$T_{task}$会被送入手部及面部回归头以预测参数。在SMPLest-X的回归阶段，除了用于人体姿态、手部姿态和面部表情的回归头外，还增加了手部方向回归头。预测得到的手部方向参数会与人体的腕部姿态一起用于计算参数一致性损失，从而提高上肢远端关节及手部定位的准确性。
### V. 扩展EHPS规模
### A. 通用基础模型
1) 数据规模扩展：当前最先进的方法[^6]、[^15]通常仅使用少数数据集（如MSCOCO、MPII和Human3.6M）进行训练，而我们则研究了使用更多数据进行训练的情况。
---
TABLE III
EVALUATE FOUNDATION MODELS ON WHOLE-BODY BENCHMARKS. WE STUDY THE SCALING LAW OF THE AMOUNT OF DATA AND THE MODEL SIZES. THE METRICS ARE MPJPE FOR 3DPW, AND PVE FOR OTHER EVALUATION BENCHMARKS. MPE: MEAN PRIMARY ERROR. THE LOWER, THE BETTER FOR ALL THE METRICS. THE BEST VALUES ARE BOLDED AND THE SECOND BEST ARE UNDERLINED. AGORA USES THE VALIDATION SET, AND EGOBODY USES THE EGOSET. 40+ DENOTES THE MODEL TRAINED WITH 10 MILLION INSTANCES FROM 40 DATASETS. UNIT: MM.
| #Datasets | #Inst. | Model | #Param. | AGORA [^12] | EgoBody [^5] | UBody [^6] | 3DPW [^13] | EHF [^14] | MPE $\downarrow$ |
| 5 | 0.75M | SMPLer-X-S5 | 32M | 119.0 | 114.2 | 110.1 | 110.2 | 100.5 | 110.8 |
| 10 | 1.5M | SMPLer-X-S10 | 32M | 116.0 | 88.6 | 107.7 | 97.4 | 89.9 | 99.9 |
| 20 | 3.0M | SMPLer-X-S20 | 32M | 109.2 | 84.3 | 70.7 | 87.5 | 86.6 | 87.7 |
| 32 | 4.5M | SMPLer-X-S32 | 32M | 105.2 | 82.5 | 68.1 | 83.2 | 74.1 | 82.6 |
| 40 | 7.5M | SMPLer-X-S40 | 32M | 97.9 | 78.8 | 71.4 | 80.2 | 69.1 | 79.5 |
| 40 | 10.0M | SMPLer-X-S40+ | 32M | 94.0 | 78.0 | 66.9 | 80.3 | 67.4 | 77.3 |
| 5 | 0.75M | SMPLer-X-B5 | 103M | 102.7 | 108.1 | 105.8 | 104.8 | 96.1 | 103.5 |
| 10 | 1.5M | SMPLer-X-B10 | 103M | 97.8 | 76.4 | 107.3 | 89.9 | 74.7 | 89.2 |
| 20 | 3.0M | SMPLer-X-B20 | 103M | 95.6 | 75.5 | 65.3 | 83.5 | 73.0 | 78.6 |
| 32 | 4.5M | SMPLer-X-B32 | 103M | 88.0 | 72.7 | 63.3 | 80.3 | 67.3 | 74.3 |
| 40 | 7.5M | SMPLer-X-B40 | 103M | 86.2 | 70.1 | 64.4 | 77.2 | 68.3 | 73.2 |
| 40 | 10.0M | SMPLer-X-B40+ | 103M | 81.9 | 68.2 | 60.4 | 74.9 | 64.6 | 70.0 |
| 5 | 0.75M | SMPLer-X-L5 | 327M | 88.3 | 98.7 | 110.8 | 97.8 | 89.5 | 97.0 |
| 10 | 1.5M | SMPLer-X-L10 | 327M | 82.6 | 69.7 | 104.0 | 82.5 | 64.0 | 80.6 |
| 20 | 3.0M | SMPLer-X-L20 | 327M | 80.7 | 66.6 | 61.5 | 78.3 | 65.4 | 70.5 |
| 32 | 4.5M | SMPLer-X-L32 | 327M | 74.2 | 62.2 | 57.3 | 75.2 | 62.4 | 66.2 |
| 40 | 7.5M | SMPLer-X-L40 | 327M | 69.0 | 60.7 | 58.6 | 71.5 | 58.6 | 63.7 |
| 40 | 10.0M | SMPLer-X-L40+ | 327M | 69.2 | 59.1 | 54.7 | 71.1 | 64.6 | 63.7 |
| 5 | 0.75M | SMPLer-X-H5 | 662M | 89.0 | 87.4 | 102.1 | 88.3 | 68.3 | 87.0 |
| 10 | 1.5M | SMPLer-X-H10 | 662M | 81.4 | 65.7 | 100.7 | 78.7 | 56.6 | 76.6 |
| 20 | 3.0M | SMPLer-X-H20 | 662M | 77.5 | 63.5 | 59.9 | 74.4 | 59.4 | 67.0 |
| 32 | 4.5M | SMPLer-X-H32 | 662M | 69.5 | 59.5 | 54.5 | 75.0 | 56.9 | 63.1 |
| 40 | 7.5M | SMPLer-X-H40 | 662M | 68.2 | 59.9 | 56.9 | 70.9 | 53.8 | 61.9 |
| 40 | 10.0M | SMPLer-X-H40+ | 662M | 65.8 | 57.0 | 53.7 | 70.5 | 52.3 | 59.9 |
| 5 | 0.75M | SMPLest-X-H5 | 687M | 96.3 | 92.3 | 95.2 | 82.0 | 71.6 | 87.5 |
| 10 | 1.5M | SMPLest-X-H10 | 687M | 71.4 | 68.7 | 100.8 | 78.2 | 60.3 | 75.9 |
| 20 | 3.0M | SMPLest-X-H20 | 687M | 76.4 | 63.8 | 59.8 | 70.5 | 65.4 | 67.2 |
| 32 | 4.5M | SMPLest-X-H32 | 687M | 70.6 | 59.8 | 56.5 | 75.8 | 53.0 | 63.2 |
| 40 | 7.5M | SMPLest-X-H40 | 687M | 56.1 | 61.5 | 51.1 | 76.0 | 49.7 | 58.9 |
| 40 | 10.0M | SMPLest-X-H40+ | 687M | 59.5 | 62.0 | 52.8 | 74.8 | 50.5 | 59.9 |
数据集。不过我们指出，表I中的数据集基准无法使用：根据评估基准测试集上的表现来选择数据集会泄露有关测试集的信息。因此，我们在补充材料中构建了另一个数据集基准，该基准根据主要EHPS基准测试集的训练集对各个数据集进行排名。我们选取了五种数据集数量进行实验：5、10、20、32和40作为训练集，对应六种不同的总实例长度：0.75百万、1.5百万、3.0百万、4.5百万、7.5百万和10百万（记为40+）。为了扩充到32个数据集，我们优先选用补充材料中上述基准排名靠前的数据集。若要进一步扩充到40个数据集，我们会纳入额外的开源数据集，并探究在同一数据领域内进一步增加实例数量所产生的影响。为防止较大的数据集掩盖较小数据集的作用，我们采用了平衡采样策略。具体而言，所有选定的数据集会被统一上采样或下采样至相同长度，再累加达到指定的总长度。为便于训练，我们将所有数据集统一转换为HumanData格式 [^88]。
2) 模型规模调整：我们还研究了四种不同尺寸的ViT骨干网络（ViT-Small、Base、Large和Huge）。训练在16块V100 GPU上进行，总批量大小为512（ViT-Huge为256），共训练10个周期（对于包含来自40个数据集的7.5百万和10百万实例的ViT-Huge，训练周期为5个周期）。具体来说，SMPLer-X-L20和SMPLest-X-L20的训练时间超过400 GPU小时，SMPLer-X-H32和SMPLest-X-H32的训练时间超过700 GPU小时，SMPLer-X-H40+和SMPLest-X-H40+的训练时间超过2600 GPU小时。训练和微调阶段我们均使用Adam优化器，并采用余弦退火策略。训练时的学习率为$1 \times 10^{-5}$，最小学习率设为$1 \times 10^{-6}$；微调时的学习率为$1 \times 10^{-5}$，最小学习率设为$5 \times 10^{-7}$。
3) 通用模型的评估：在表III、IV和V中，我们展示了采用所提出的简约框架SMPLer-X和SMPLest-X进行数据规模调整和模型规模调整的实验结果。观察可知：1) 更多的训练数据集能带来更好的MPE、hand-MPE和hand-PA-MPE性能。随着训练数据集数量的增加，模型性能会逐渐提升，但实例数量并不必然能保证性能的改善。2) 在给定数据量的情况下，规模更大的基础模型表现更好。不过，当模型规模足够大之后，进一步扩大规模的边际收益就会递减。具体而言，ViT-H的参数数量是ViT-L的两倍多，但性能提升并不显著。3) 如图1以及表III、IV和V所示，当训练数据有限时（例如实例数少于3百万），
---
TABLE IV
EVALUATE FOUNDATION MODELS ON HANDS. WE STUDY THE SCALING LAW OF THE AMOUNT OF DATA AND THE MODEL SIZES AND EVALUATE THE HAND POSE ESTIMATION. THE METRICS ARE HAND PA-PVE AND HAND PVE FOR ALL EVALUATION BENCHMARKS. (PA-)MPE: (PA-)MEAN PRIMARY ERROR. BEST VALUES ARE BOLDED AND SECOND BEST ARE UNDERLINED. AGORA USES THE VALIDATION SET, AND EGOBODY USES THE EGOSET. UNIT: MM.
| Model | SynHand | AGORA [^12] | EgoBody [^5] | UBody [^6] | ARCTIC [^8] | EHF [^14] | Hand |
| PA-PVE↓ | PVE↓ | PA-PVE↓ | PVE↓ | PA-PVE↓ | PVE↓ | PA-PVE↓ | PVE↓ | PA-PVE↓ | PVE↓ | PA-PVE↓ | PVE↓ | PA-MPE↓ | MPE↓ |
| SMPLer-X-S5 | 15.6 | 59.7 | 10.2 | 66.8 | 10.8 | 53.3 | 11.8 | 59.4 | 16.7 | 58.7 | 16.0 | 64.0 | 13.5 | 60.3 |
| SMPLer-X-S10 | 16.0 | 54.4 | 10.2 | 65.2 | 10.0 | 48.6 | 11.5 | 57.4 | 17.5 | 56.6 | 16.0 | 59.1 | 13.5 | 56.9 |
| SMPLer-X-S20 | 15.4 | 50.8 | 10.0 | 63.3 | 10.0 | 47.2 | 11.1 | 49.6 | 18.9 | 45.2 | 15.5 | 54.7 | 13.5 | 51.8 |
| SMPLer-X-S32 | 14.6 | 49.3 | 9.8 | 61.9 | 10.0 | 46.0 | 10.7 | 47.8 | 18.9 | 42.9 | 14.8 | 54.6 | 13.1 | 50.4 |
| SMPLer-X-S40 | 12.3 | 42.3 | 9.1 | 55.4 | 9.5 | 42.7 | 9.8 | 44.8 | 19.2 | 39.8 | 13.5 | 51.6 | 12.2 | 46.1 |
| SMPLer-X-S40+ | 12.7 | 44.2 | 9.0 | 54.6 | 9.4 | 42.7 | 9.6 | 43.4 | 19.3 | 41.1 | 13.7 | 50.2 | 12.3 | 46.0 |
| SMPLer-X-B5 | 14.2 | 53.5 | 9.6 | 59.0 | 10.6 | 48.0 | 11.9 | 56.9 | 16.9 | 55.6 | 15.4 | 58.4 | 13.1 | 55.2 |
| SMPLer-X-B10 | 14.9 | 48.7 | 9.5 | 57.8 | 10.1 | 45.5 | 12.0 | 57.1 | 17.9 | 53.4 | 15.7 | 55.1 | 13.3 | 52.9 |
| SMPLer-X-B20 | 14.1 | 45.6 | 9.3 | 56.5 | 9.9 | 44.6 | 11.0 | 46.9 | 18.9 | 40.9 | 15.9 | 53.7 | 13.2 | 48.0 |
| SMPLer-X-B32 | 13.9 | 44.5 | 9.2 | 54.5 | 9.9 | 43.7 | 10.8 | 43.9 | 19.0 | 40.1 | 14.5 | 52.1 | 12.9 | 46.5 |
| SMPLer-X-B40 | 11.3 | 38.3 | 8.6 | 50.6 | 9.2 | 39.0 | 9.1 | 40.8 | 19.2 | 37.9 | 13.4 | 48.2 | 11.8 | 42.5 |
| SMPLer-X-B40+ | 11.8 | 38.2 | 8.5 | 48.3 | 9.3 | 38.8 | 8.8 | 38.7 | 18.9 | 38.1 | 13.3 | 46.3 | 11.8 | 41.4 |
| SMPLer-X-L5 | 13.9 | 49.6 | 9.2 | 53.0 | 10.5 | 45.2 | 12.5 | 56.3 | 17.0 | 52.8 | 14.7 | 57.8 | 13.0 | 52.5 |
| SMPLer-X-L10 | 14.7 | 46.4 | 9.1 | 51.9 | 10.0 | 43.1 | 12.8 | 56.1 | 18.1 | 50.8 | 15.6 | 52.9 | 13.4 | 50.2 |
| SMPLer-X-L20 | 14.4 | 43.7 | 8.9 | 51.0 | 9.9 | 42.7 | 10.6 | 43.3 | 18.9 | 39.3 | 15.0 | 49.4 | 13.0 | 44.9 |
| SMPLer-X-L32 | 13.5 | 42.4 | 8.7 | 47.8 | 9.8 | 41.4 | 10.2 | 39.2 | 18.9 | 38.8 | 14.1 | 47.1 | 12.5 | 42.8 |
| SMPLer-X-L40 | 10.7 | 34.2 | 8.0 | 42.8 | 8.9 | 36.5 | 8.4 | 35.7 | 19.2 | 36.1 | 12.8 | 43.1 | 11.3 | 38.1 |
| SMPLer-X-L40+ | 11.1 | 33.0 | 8.0 | 43.2 | 9.0 | 36.5 | 8.2 | 34.2 | 19.0 | 36.6 | 13.3 | 46.3 | 11.4 | 38.3 |
| SMPLer-X-H5 | 13.4 | 47.6 | 9.1 | 52.6 | 10.5 | 43.5 | 12.1 | 53.3 | 17.4 | 49.3 | 14.3 | 55.6 | 12.8 | 50.3 |
| SMPLer-X-H10 | 14.6 | 44.7 | 9.0 | 51.4 | 10.0 | 42.6 | 12.6 | 54.8 | 18.8 | 49.3 | 15.6 | 50.2 | 13.4 | 48.8 |
| SMPLer-X-H20 | 14.8 | 41.9 | 8.8 | 49.5 | 9.8 | 41.3 | 10.3 | 41.0 | 18.9 | 38.3 | 14.4 | 47.1 | 12.8 | 43.2 |
| SMPLer-X-H32 | 14.0 | 42.7 | 8.5 | 45.6 | 9.8 | 39.6 | 9.8 | 36.4 | 18.8 | 37.0 | 14.8 | 42.2 | 12.6 | 40.6 |
| SMPLer-X-H40 | 10.3 | 32.0 | 8.0 | 41.8 | 8.9 | 34.8 | 8.1 | 34.7 | 18.9 | 35.0 | 12.1 | 39.9 | 11.0 | 36.4 |
| SMPLer-X-H40+ | 10.8 | 31.5 | 7.9 | 40.1 | 8.8 | 34.7 | 7.9 | 33.1 | 19.1 | 36.3 | 11.9 | 38.1 | 11.1 | 35.6 |
| SMPLest-X-H5 | 15.0 | 48.7 | 15.2 | 57.1 | 10.7 | 44.4 | 13.1 | 48.9 | 13.2 | 39.6 | 14.8 | 53.6 | 13.7 | 48.7 |
| SMPLest-X-H10 | 12.6 | 39.8 | 8.3 | 41.4 | 9.2 | 35.9 | 11.4 | 49.0 | 13.2 | 37.6 | 12.9 | 42.0 | 11.3 | 40.9 |
| SMPLest-X-H20 | 12.6 | 41.6 | 8.9 | 45.2 | 9.2 | 37.0 | 9.5 | 37.7 | 11.9 | 28.8 | 13.1 | 44.8 | 10.9 | 39.2 |
| SMPLest-X-H32 | 12.4 | 38.6 | 8.2 | 43.6 | 9.0 | 35.7 | 9.0 | 35.3 | 11.6 | 26.5 | 12.1 | 41.5 | 10.4 | 36.9 |
| SMPLest-X-H40 | 9.8 | 23.7 | 7.3 | 36.9 | 8.8 | 35.6 | 7.9 | 32.9 | 10.9 | 24.1 | 11.4 | 36.4 | 9.3 | 31.6 |
| SMPLest-X-H40+ | 10.8 | 25.1 | 7.9 | 38.4 | 9.0 | 36.3 | 7.9 | 34.0 | 11.1 | 23.6 | 11.7 | 38.8 | 9.7 | 32.7 |
TABLE V
MEAN PRIMARY ERROR (MPE) OF WHOLE-BODY AND HAND POSE ESTIMATION. WE EVALUATE EHPS METHODS ON MULTIPLE BENCHMARK DATASETS FOR WHOLE-BODY AND HAND POSE ESTIMATION. UNIT: MM.
| Method | #Params | MPE $\downarrow$ | Hand-MPE $\downarrow$ | Hand-PA-MPE $\downarrow$ |
| PyMAF-X [^82] | 206M | 120.3 | 62.7 | 11.7 |
| Hand4Whole [^51] | 78M | 115.6 | 51.4 | 11.4 |
| HybrIK-X [^15] | 76M | 115.0 | 49.0 | 14.0 |
| OSX [^6] | 312M | 111.6 | 55.8 | 14.0 |
| AiOS [^53] | 70M | 70.6 | 41.9 | 11.4 |
| SMPLer-X-S40+ | 32M | 77.3 | 46.0 | 12.3 |
| SMPLer-X-B40+ | 103M | 70.0 | 41.4 | 11.8 |
| SMPLer-X-L40+ | 327M | 63.7 | 38.3 | 11.4 |
| SMPLer-X-H40+ | 662M | 59.9 | 35.6 | 11.1 |
| SMPLest-X-H40 | 687M | 58.9 | 31.6 | 9.3 |
模型扩展能够带来最有效的性能提升。然而，当实例数超过300万个这一临界点后，增加数据所带来的益处会逐渐减弱，在1000万个实例时便会达到饱和状态。在此阶段，模型扩展的效果会更加显著，使模型能够更好地利用现有数据并捕捉更丰富的信息。4) 基础模型的表现始终优于针对单一训练集进行的领域内训练。例如，SMPLer-X-B20在AGORA-val、UBody、EgoBody和3DPW测试集上的表现，均优于在表I中对应训练集上专门训练的模型。5) 通过移除SMPLer-X中的组件引导模块并用解码器取而代之，SMPLest-X在手部姿态估计方面取得了显著提升（如表V所示，手部PA-MPE误差降低15%，手部MPE误差降低13%）。此外，我们将基础模型与各种场景下的当前最先进方法进行了对比：图6展示了全身姿态的定性评估结果，图7则展示了在严重遮挡、物体交互及复杂姿态情况下的多样化手部姿态评估结果。
此外，我们还在主要基准测试集上展示了身体、手部和面部各部分的详细结果，包括AGORA测试集（表VI）、AGORA验证集（表VII）、UBody（表IX）、EgoBody-EgoSet（表X）、EHF（表VIII）、ARCTIC（表XI）以及DNA-Rendering（表XII）。我们强调，基础模型在所有基准测试中都表现出强劲且均衡的性能。
### B. 专业模型
1) 专业模型的微调：用大量数据训练基础模型成本极高。例如，SMPLer-X-H40+和SMPLest-X-H40+的训练时间就超过2600个GPU小时。因此，研究能够以低成本让基础模型适配特定场景的微调策略至关重要。我们重申，在实际应用中，测试集是无法获取的。因此，除了目标数据集对应的训练集外，我们还采用基于补充材料中所列基准测试的数据集选择策略，选取目标训练集上排名前四的数据集，对模型进行五个周期的微调。
2) 专业模型的评估：我们微调以ViT-L为骨干的通用模型，以匹配当前的SOTA [^6]；同时微调以ViT-H为骨干的通用模型，以探索SMPLer-X和SMPLest-X专业模型的性能极限。专业模型的评估结果见表格VI、VII、VIII、IX、X、XI和XII。此外，我们还在EHF（表VIII）、ARCTIC（表XI）和DNA-Rendering（表XI）上评估了基础模型的迁移能力。EHF是一个仅包含测试集的基准测试。
---
SMPLer-X
GT
SMPLest-X
Fig. 6. Visualization. We compare SMPLest-X-L40 and SMPLer-X-L40 with OSX [^6] and Hand4Whole (H4W) [^51] (trained with the MSCOCO, MPII, and Human3.6M) in various scenarios. Green dotted boxes mark the body parts where our method outperforms others, while red dotted boxes indicate less accurate areas. A zoomed-in version is provided in the Supplementary Material.
TABLE VI
AGORA TEST SET. † DENOTES THE METHODS THAT ARE FINETUNED ON THE AGORA TRAINING SET. *DENOTES THE METHODS THAT ARE TRAINED ON AGORA TRAINING SET ONLY
| Method | NMVE $\downarrow$ (mm) | NMJE $\downarrow$ (mm) | MVE $\downarrow$ (mm) | MPJPE $\downarrow$ (mm) |
| All | Body | All | Body | All | Body | Face | LHand | RHand | All | Body | Face | LHand | RHand |
| BEDLAM [^2] | 179.5 | 132.2 | 177.5 | 131.4 | 131.0 | 96.5 | 25.8 | 38.8 | 39.0 | 129.6 | 95.9 | 27.8 | 36.6 | 36.7 |
| Hand4Whole [^51] $\dagger$ | 144.1 | 96.0 | 141.1 | 92.7 | 135.5 | 90.2 | 41.6 | 46.3 | 48.1 | 132.6 | 87.1 | 46.1 | 44.3 | 46.2 |
| BEDLAM [^2] $\dagger$ | 142.2 | 102.1 | 141.0 | 101.8 | 103.8 | 74.5 | 23.1 | 31.7 | 33.2 | 102.9 | 74.3 | 24.7 | 29.9 | 31.3 |
| PyMaF-X [^50] $\dagger$ | 141.2 | 94.4 | 140.0 | 93.5 | 125.7 | 84.0 | 35.0 | 44.6 | 45.6 | 124.6 | 83.2 | 37.9 | 42.5 | 43.7 |
| OSX [^6] * | 130.6 | 85.3 | 127.6 | 83.3 | 122.8 | 80.2 | 36.2 | 45.4 | 46.1 | 119.9 | 78.3 | 37.9 | 43.0 | 43.9 |
| HybrIK-X [^15] | 120.5 | 73.7 | 115.7 | 72.3 | 112.1 | 68.5 | 37.0 | 46.7 | 47.0 | 107.6 | 67.2 | 38.5 | 41.2 | 41.4 |
| Multi-HMR [^54] | 102.0 | 63.4 | 101.8 | 64.1 | 95.9 | 59.6 | 27.7 | 40.2 | 40.9 | 95.7 | 60.3 | 29.2 | 38.1 | 39.0 |
| NLF-L [^78] | 98.6 | 62.1 | 96.6 | 61.9 | 92.7 | 58.4 | 27.0 | 37.9 | 38.1 | 90.8 | 58.2 | 28.5 | 34.4 | 34.9 |
| AiOS [^53] | 97.8 | 61.3 | 96.0 | 60.7 | 91.9 | 57.6 | 24.6 | 38.7 | 39.6 | 90.2 | 57.1 | 25.7 | 36.4 | 37.3 |
| EMO-X [^89] | 99.9 | 63.3 | 98.4 | 62.9 | 91.9 | 58.2 | 24.2 | 38.1 | 38.9 | 90.5 | 57.9 | 25.1 | 35.9 | 36.8 |
| SMPLer-X-L20 $\dagger$ | 107.2 | 68.3 | 104.1 | 66.3 | 99.7 | 63.5 | 29.9 | 39.1 | 39.5 | 96.8 | 61.7 | 31.4 | 36.7 | 37.2 |
| SMPLest-X-H40 $\dagger$ | 96.2 | 63.8 | 93.9 | 62.7 | 86.6 | 57.4 | 25.4 | 30.8 | 31.5 | 84.5 | 56.4 | 25.7 | 29.0 | 29.7 |
TABLE VII
AGORA VAL SET. † AND * ARE FINETUNED ON THE AGORA TRAINING SET, AND TRAINED ON THE AGORA TRAINING SET ONLY, RESPECTIVELY
| Method | PA-PVE $\downarrow$ (mm) | PVE $\downarrow$ (mm) |
| All | Hands | Face | All | Hands | Face |
| Hand4Whole [^51] $\dagger$ | 73.2 | 9.7 | 4.7 | 183.9 | 72.8 | 81.6 |
| PyMAF-X [^82] | 75.2 | 12.5 | 3.8 | 175.0 | 119.0 | 76.5 |
| HybrIK-X [^15] | 44.6 | 9.6 | 4.7 | 69.0 | 44.2 | 35.2 |
| OSX [^6] | 69.4 | 11.5 | 4.8 | 168.6 | 70.6 | 77.2 |
| OSX [^6] $^{{*}}$ | 45.0 | 8.5 | 3.9 | 79.6 | 48.2 | 37.9 |
| AiOS [^53] | 43.0 | 8.5 | 3.1 | 63.4 | 46.1 | 31.7 |
| SMPLer-X-B1 $^{{*}}$ | 48.9 | 8.6 | 4.0 | 86.1 | 51.5 | 41.2 |
| SMPLer-X-L20 | 48.6 | 8.9 | 4.0 | 80.7 | 51.0 | 41.3 |
| SMPLer-X-L20 $\dagger$ | 39.1 | 9.3 | 3.8 | 62.5 | 42.3 | 32.8 |
| SMPLest-X-H40 | 39.2 | 7.3 | 2.7 | 56.1 | 36.9 | 26.5 |
| SMPLest-X-H40 $\dagger$ | 37.2 | 7.8 | 2.8 | 57.4 | 37.7 | 30.6 |
该基准测试未提供训练集；ARCTIC包含复杂的手-物交互数据及全身标注；DNA-Rendering则涵盖了多样化的受试者、动作和服装。需要注意的是，基于前10个数据集训练的基础模型并未接触过ARCTIC数据，基于前20个数据集训练的基础模型也未接触过DNA-Rendering数据。然而，这些基础模型的表现仍远优于采用传统数据采样策略的SOTA模型。
TABLE VIII
EHF. AS EHF DOES NOT HAVE A TRAINING SET TO BENCHMARK DATASETS. WE FINETUNE THE MODEL WITH 5 SELECTED DATASETS. AS EHF IS NOT SEEN IN OUR TRAINING AND CAN BE USED TO VALIDATE OUR FOUNDATION MODELS' TRANSFERABILITY.
| Method | PA-PVE $\downarrow$ (mm) | PVE $\downarrow$ (mm) |
| All | Hands | Face | All | Hands | Face |
| Hand4Whole [^51] | 50.3 | 10.8 | 5.8 | 76.8 | 39.8 | 26.1 |
| PyMAF-X [^82] | 50.2 | 10.2 | 5.5 | 64.9 | 29.7 | 19.7 |
| HybrIK-X [^15] | 58.6 | 16.9 | 7.3 | 121.5 | 53.3 | 41.4 |
| OSX [^6] | 48.7 | 15.9 | 6.0 | 70.8 | 53.7 | 26.4 |
| AiOS [^53] | 34.0 | 12.8 | 3.8 | 45.4 | 44.1 | 16.9 |
| NLF-L [^78] | 26.0 | 20.7 | 6.3 | 36.4 | 43.0 | 13.9 |
| SMPler-X-L20 | 37.8 | 15.0 | 5.1 | 65.4 | 49.4 | 17.4 |
| SMPLest-X-H40 | 34.7 | 11.4 | 3.4 | 49.7 | 36.4 | 16.2 |
| SMPLest-X-H40 $\dagger$ | 34.0 | 11.2 | 3.7 | 40.9 | 33.3 | 20.2 |
然而，采用常规数据采样策略时，其性能要比现有最先进方法好得多。
### C. 训练领域
在表XIII中，我们研究了使用评估基准测试集的训练划分对其对应测试划分的影响。我们发现两个关键现象：首先，领域内训练（包括用某数据集的训练划分进行训练，再用同一数据集的测试划分进行测试）效果极佳，因为“接触”该数据集总能带来显著的性能提升（对比R2和R3）；其次，如果训练时使用域外训练集，也会有所帮助。
---
Fig. 7. Visualization of hands by SMPLest-X. SMPLest-X demonstrates robust hand pose estimation in whole-body pose and shape estimation tasks across various scenarios, including occlusion (top), object interaction (middle), and challenging hand poses (bottom).
TABLE IX
UBODY. † DENOTES THE METHODS THAT ARE FINETUNED ON THE UBODY TRAINING SET. * DENOTES THE METHODS THAT ARE TRAINED ON UBODY TRAINING SET ONLY.
| Method | PA-PVE $\downarrow$ (mm) | PVE $\downarrow$ (mm) |
| All | Hands | Face | All | Hands | Face |
| PIXIE [^48] | 61.7 | 12.2 | 4.2 | 168.4 | 55.6 | 45.2 |
| Hand4Whole [^51] | 44.8 | 8.9 | 2.8 | 104.1 | 45.7 | 27.0 |
| PyMAF-X [^82] | 78.6 | 11.2 | 6.2 | 146.7 | 56.0 | 37.6 |
| HybrIK-X [^15] | 87.0 | 14.2 | 11.2 | 201.6 | 57.2 | 70.7 |
| OSX [^6] | 42.4 | 10.8 | 2.4 | 92.4 | 47.7 | 24.9 |
| OSX [^6] $\dagger$ | 42.2 | 8.6 | 2.0 | 81.9 | 41.5 | 21.2 |
| AiOS [^53] | 32.5 | 7.3 | 2.8 | 58.6 | 39.0 | 19.6 |
| SMPLer-X-B1* | 38.5 | 10.8 | 3.0 | 64.8 | 45.4 | 22.3 |
| SMPLer-X-L20 | 33.2 | 10.6 | 2.8 | 61.5 | 43.3 | 23.1 |
| SMPLer-X-L20 $\dagger$ | 31.9 | 10.3 | 2.8 | 57.4 | 40.2 | 21.6 |
| SMPLest-X-H40 | 27.8 | 7.9 | 2.5 | 51.1 | 32.9 | 21.4 |
| SMPLest-X-H40 $\dagger$ | 26.9 | 8.4 | 2.4 | 50.2 | 31.8 | 18.9 |
TABLE X
EGOBODY-EGOSET. † DENOTES THE METHODS THAT ARE FINETUNED ON THE EGOBODY-EGOSET TRAINING SET. * DENOTES THE METHODS THAT ARE TRAINED ON EGOBODY-EGOSET TRAINING SET ONLY.
| Method | PA-PVE $\downarrow$ (mm) | PVE $\downarrow$ (mm) |
| All | Hands | Face | All | Hands | Face |
| Hand4Whole [^51] | 58.8 | 9.7 | 3.7 | 121.9 | 50.0 | 42.5 |
| PyMAF-X [^82] | 66.3 | 9.7 | 3.5 | 121.8 | 53.4 | 45.9 |
| HybrIK-X [^15] | 52.7 | 11.2 | 5.9 | 111.4 | 44.6 | 44.5 |
| OSX [^6] | 54.6 | 11.6 | 3.7 | 115.7 | 50.6 | 41.1 |
| OSX [^6] $\dagger$ | 45.3 | 10.0 | 3.0 | 82.3 | 46.8 | 35.2 |
| AiOS [^53] | 38.0 | 9.0 | 2.9 | 61.6 | 40.0 | 26.7 |
| SMPler-X-B1 $^{*}$ | 56.1 | 10.7 | 3.5 | 87.2 | 49.4 | 34.9 |
| SMPler-X-L20 | 38.9 | 9.9 | 3.0 | 66.6 | 42.7 | 31.8 |
| SMPler-X-L20 $\dagger$ | 37.8 | 9.9 | 2.9 | 63.6 | 42.5 | 30.8 |
| SMPLest-X-H40 | 33.6 | 8.8 | 2.5 | 61.5 | 35.6 | 28.5 |
| SMPLest-X-H40 $\dagger$ | 33.5 | 8.8 | 2.5 | 59.3 | 35.3 | 28.0 |
有两个关键观察结果。首先，领域内训练（包括用数据集的训练集进行训练，再用同一数据集的测试集进行测试）效果极佳，因为“接触”该数据集总能带来显著的性能提升（R2对比R3）。其次，如果训练数据来自领域外，那么这类训练集也会有所帮助。
TABLE XI
ARCTIC. † AND * DENOTE THE METHODS THAT ARE FINETUNED ON THE ARCTIC TRAINING SET AND TRAINED ON THE ARCTIC TRAINING SET ONLY, RESPECTIVELY.
| Method | PA-PVE $\downarrow$ (mm) | PVE $\downarrow$ (mm) |
| All | Hands | Face | All | Hands | Face |
| Hand4Whole [^51] | 63.4 | 18.1 | 4.0 | 136.8 | 54.8 | 59.2 |
| PyMAF-X [^82] | 69.4 | 14.0 | 3.1 | 137.9 | 58.8 | 53.6 |
| HybrIK-X [^15] | 63.4 | 15.4 | 5.6 | 147.4 | 44.5 | 53.9 |
| OSX [^6] | 56.9 | 17.5 | 3.9 | 102.6 | 56.5 | 44.6 |
| OSX [^6] $\dagger$ | 33.0 | 18.8 | 3.3 | 58.4 | 39.4 | 30.4 |
| AiOS [^53] | 30.2 | 19.2 | 2.1 | 47.1 | 38.3 | 26.1 |
| SMPler-X-B1 $^{*}$ | 45.2 | 18.9 | 3.4 | 66.6 | 42.5 | 34.0 |
| SMPler-X-L10 | 46.9 | 18.1 | 2.3 | 76.9 | 50.8 | 33.2 |
| SMPler-X-L10 $\dagger$ | 33.1 | 19.0 | 2.7 | 54.9 | 40.1 | 27.3 |
| SMPLest-X-H40 | 24.2 | 10.9 | 3.3 | 40.3 | 24.1 | 28.0 |
| SMPLest-X-H40 $\dagger$ | 23.2 | 10.7 | 3.2 | 38.1 | 22.6 | 27.1 |
TABLE XII
DNA-RENDERING-HIRES. † AND * ARE FINETUNED ON THE DNA-RENDERING-HIRES TRAINING SET AND TRAINED ON THE DNA-RENDERING-HIRES TRAINING SET ONLY, RESPECTIVELY.
| Method | PA-PVE $\downarrow$ (mm) | PVE $\downarrow$ (mm) |
| All | Hands | Face | All | Hands | Face |
| Hand4Whole [^51] | 62.8 | 11.0 | 4.2 | 111.4 | 56.4 | 52.6 |
| PyMAF-X [^82] | 54.6 | 11.0 | 4.3 | 102.8 | 55.5 | 52.6 |
| HybrIK-X [^15] | 50.7 | 10.9 | 5.7 | 92.0 | 47.8 | 48.2 |
| OSX [^6] | 59.9 | 10.6 | 4.3 | 105.7 | 55.0 | 52.5 |
| OSX [^6] $\dagger$ | 43.5 | 7.5 | 3.5 | 67.1 | 43.3 | 38.2 |
| SMPler-X-B1 $^{*}$ | 45.6 | 7.5 | 3.4 | 63.2 | 40.7 | 34.2 |
| SMPler-X-L20 | 44.4 | 11.1 | 4.5 | 77.7 | 47.5 | 43.2 |
| SMPler-X-L20 $\dagger$ | 37.9 | 7.3 | 3.4 | 56.5 | 38.4 | 34.9 |
| SMPLES-X-H40 | 33.6 | 7.4 | 3.1 | 56.2 | 34.6 | 32.0 |
| SMPLER-X-H40 $\dagger$ | 32.0 | 7.1 | 3.2 | 51.7 | 32.8 | 31.9 |
数据具有足够的多样性。例如，使用四个已见数据集的SMPLer-X-L模型，即便增加一个额外数据集（总共5个数据集，MPE为85.2毫米）也几乎没有带来性能提升；但若是训练时使用10个数据集，MPE则降至72.7毫米。值得注意的是，使用大量数据集训练还能提升模型在域外（“未见”基准测试）的表现：当训练集中的数据集数量增加且已见数据集数量固定时，模型在EHF上的误差减少了20.2毫米PVE，在ARCTIC上的误差减少了22.8毫米PVE，在DNA-Rendering上的误差减少了22.4毫米PVE（对比R3与R5的结果）。在训练数据总量有限且固定的情况下，使用种类更丰富的域外数据进行训练，比使用域内数据带来的收益更大（对比R3与R4）。最终，使用40个数据集训练的SMPLest-X-H模型取得了最佳性能，其MPE仅为58.9毫米，这证明了它是一种稳健且高效的SMPL-X估计器。不过，在同一训练域（包含这40个数据集）内，将样本数量从750万个增加到1000万个，并未带来性能上的提升（对比R8与R9）。
### D. 数据采样策略
关于采样策略，我们对三种不同策略进行了消融研究，包括：1）平衡策略：我们让所有数据集的长度保持一致；2）加权策略：我们根据各数据集在基准测试中的排名来确定其长度。具体来说，我们先根据排名对数据集进行排序，然后
---
TABLE XIII
IMPACT OF IN-DOMAIN TRAINING. WE INVESTIGATE THE IMPACT OF SEEING THE TRAIN SPLIT OF A BENCHMARK DATASET DURING TRAINING AND HOW THIS MAY AFFECT THE GENERALIZABILITY OF A MODEL. THE HIGHLIGHTED YELLOW SHADED NUMBERS DENOTE THAT THE CORRESPONDING TRAIN SPLIT IS USED IN TRAINING. EXCEPT FOR 3DPW USING MPJPE AS THE METRIC, OTHER DATASETS ARE EVALUATED VIA PVE. THE LOWER THE BETTER FOR ALL THE METRICS. TOP-1 VALUES ARE BOLDED, AND THE SECOND BEST VALUES ARE UNDERLINED. EGOBODY: EGOBODY-EGOSET. AGORA: AGORA-VAL. #ROW: ROW NUMBER. #DATA.: NUMBER OF DATASETS. #SEEN: NUMBER OF EVALUATION BENCHMARKS' TRAIN SPLITS USED IN THE TRAINING. #INST.: NUMBER OF TRAINING INSTANCES. UNIT: MM.
| #Row | #Data. | #Seen | #Inst. | Model | $MPE_{↓}$ | AGORA [^12] | EgoBody [^5] | UBody [^6] | 3DPW [^13] | EHF [^14] | ARCTIC [^8] | DNA-R-HiRes [^11] |
| R1 | 4 | 4 | 0.75M | SMPler-X-L | 83.8 | 98.1 | 80.0 | 65.0 | 96.2 | 79.9 | 101.5 | 101.3 |
| R2 | 5 | 1 | 0.75M | SMPler-X-L5 | 97.0 | 88.3 | 98.7 | 110.8 | 97.8 | 89.5 | 95.1 | 85.9 |
| R3 | 5 | 4 | 0.75M | SMPler-X-L | 85.2 | 96.7 | 81.9 | 68.1 | 95.5 | 83.6 | 103.6 | 98.2 |
| R4 | 10 | 2 | 0.75M | SMPler-X-L10 | 80.6 | 82.6 | 69.7 | 104.0 | 82.5 | 64.0 | 76.9 | 76.2 |
| R5 | 10 | 4 | 1.5M | SMPler-X-L | 72.7 | 84.0 | 71.6 | 62.8 | 81.7 | 63.4 | 80.8 | 75.8 |
| R6 | 20 | 5 | 3M | SMPler-X-L20 | 70.5 | 80.7 | 66.6 | 61.5 | 78.3 | 65.4 | 52.2 | 77.7 |
| R7 | 32 | 6 | 4.5M | SMPler-X-L32 | 66.2 | 74.2 | 62.2 | 57.3 | 75.2 | 62.3 | 48.6 | 54.4 |
| R8 | 40 | 6 | 7.5M | SMPLest-X-H40 | 58.9 | 56.1 | 61.5 | 51.1 | 76.0 | 49.7 | 40.3 | 56.2 |
| R9 | 40 | 6 | 10.0M | SMPLest-X-H40+ | 59.9 | 59.5 | 62.0 | 52.8 | 74.8 | 50.5 | 41.2 | 56.3 |
TABLE XIV
DATA SAMPLING STRATEGIES. WE TRAINED SMPLER-X-H32 MODELS WITH DIFFERENT DATA SAMPLING STRATEGIES. UNIT: MM.
| Method | Strategy | #Instance | MPE $\downarrow$ |
| SMPLer-X-H32 | balanced | 4.5M | 63.08 |
| SMPLer-X-H32 | weighted | 4.5M | 62.12 |
| SMPLer-X-H32 | concatenated | 5.6M | 63.32 |
TABLE XV
TRAINING SCHEMES. WE STUDY THE DIFFERENT TRAINING SCHEMES BY COMPARING THE MODEL TRAINED WITH THE TOP 5 / TOP 10 DATASETS WITH THE BOTTOM 5 / BOTTOM 10 DATASETS ACCORDING TO OUR INDIVIDUAL DATASET BENCHMARK RANKINGS. UNIT: MM.
| Method | Dataset | #Instance | MPEMPE $\downarrow$ |
| SMPLer-X-B | Top5 | 0.75M | 103.47 |
| SMPLer-X-B | Bottom5 | 0.75M | 115.61 |
| SMPLer-X-B | Top10 | 1.5M | 89.20 |
| SMPLer-X-B | Bottom10 | 1.5M | 115.10 |
为每个数据集分配权重。通过这种加权方式，数据集会被上采样或下采样，从而使各数据集的长度调整为等差数列。排名最高的数据集长度是排名最低的数据集长度的4倍，且所有数据集的总长度是固定的；3）拼接策略：我们直接将所有数据集按其原始长度进行拼接。
如表XIV所示，基础模型的性能对采样策略并不敏感；虽然平衡策略更直观、易于实现且高效，但加权策略或许有更大的潜力来提升性能，只是需要花费更多精力来调整权重。
### E. 训练方案
如表XV所示，我们对训练方案进行了消融研究。我们探讨了数据集选择的影响。我们根据补充材料中各数据集基准测试的排名，选取排名靠后的5个和10个数据集，用与训练排名靠前的5个和10个数据集时相同数量的样本来训练SMPLer-X-B模型。
Fig. 8. Attentions of tokens. The extended tokens in SMPLest-X attend to the respective information in the image feature without additional component guidance.
事实证明我们的训练方案是高效的。根据单数据集基准测试排名选取排名前5或前10的数据集，相比选取排名靠后的5个或10个数据集，能带来更好的性能。基础模型能从加入排名更高（即前5/10）的数据中受益，而排名较低的数据（即后5/10）对提升模型性能的效果则不那么明显。
### F. 词元的有效性
在SMPLest-X中，源自SMPLer-X的引导模块被替换为一个解码器，身体姿态令牌也被扩展为包含多个特定任务令牌。如图8所示，这些令牌无需额外引导便能有效地关注图像特征中对应的信息。例如，身体姿态令牌会在躯干区域被激活，身体朝向令牌聚焦于肩部和骨盆，手部姿态令牌集中在双手手指上，而手部朝向令牌主要关注上半身，尤其是手腕部位。研究表明，手部姿态令牌在捕捉局部手部姿态方面效果显著（通过hand-PA-MPE评估），而手部朝向令牌则表明上半身对于准确判断手部朝向至关重要（通过hand-MPE评估）。
### G. 基于CNN骨干网络的大规模扩展
我们选择ViT架构作为骨干网络，因为它在构建大型模型时应用广泛；这也是首次对EHPS模型的训练数据和模型规模进行大规模扩展的全面研究。尽管基于Transformer的架构……
---
TABLE XVI
SCALING UP WITH CNN BACKBONE. WE STUDY EFFECT OF DATA SCALING ON THE METHOD WITH CNN BACKBONES. UNIT: MM
| Model | Sampling strategy | #Inst. | MPE $\downarrow$ |
| H4W [^51] | - | 0.65M | 116.59 |
| H4W-32 [^51] | balanced | 4.5M | 98.33 |
| H4W-32 [^51] | concatenated | 5.6M | 96.90 |
……无法轻易转换为基于CNN的架构（SMPLer-X和SMPLest-X需要借助任务令牌来估计身体姿态参数），但我们还是训练了一个Hand4Whole [^51]，作为基于CNN的基础模型（身体和手部采用ResNet50骨干网络，面部采用ResNet18，可训练参数总量为7700万），如表XVI所示，该实验验证了上述结论在基于CNN的架构中同样成立。需要强调的是，与SMPLer-X和SMPLest-X类似，扩大基于CNN的基础模型的训练数据也能带来显著的性能提升。
### VI. 讨论
此前的算法研究或许为时过早，因为大规模数据的影响尚未被充分探究或排除。本研究通过聚焦数据与模型规模的扩展，探讨了EHPS的非算法层面问题，并系统性地将各类数据集最大限度地应用于不同规模的模型。在本节中，我们将讨论其中的关键局限性与启示。
通过整合几乎所有现有数据集，我们发现无论模型规模如何，性能提升都呈现明显递减趋势：在同一数据域（共40个数据集）内，将训练样本量从750万增至1000万时，计算成本会上升43%（每个训练轮次的时间从23小时增至33小时），但性能提升却十分有限。因此，我们的研究结果表明，进一步的数据扩展已触及饱和点，仅靠扩展数据已难以推动进一步的进步。明确这一饱和点后，未来数据集相关研究或可侧重于通过更高质量的标注和更高的多样性来提升数据质量，这一点可从我们的基准测试分析中得到印证。同时，在利用多样化数据完成充分预训练后，该领域也更能实现向真正算法突破的必要转变。
本研究中提出的简约型模型SMPLer-X和SMPLest-X属于基于参数的回归模型。但由于参数化人体模型中预定义的运动链存在误差累积现象，进一步扩展模型规模带来的提升依然有限。未来的研究或可着眼于设计相关算法，通过引入逆运动学来减少姿态估计中的末端执行器误差；或者将任务定义为直接网格恢复，以实现更精确的人体形状估计并改善图像与姿态的对齐效果。
此外，本研究采用ViTPose [^90]系列作为预训练骨干网络，不过更近期的人体相关基础模型（如Sapiens [^74]）提供了在更高分辨率图像上训练且规模更大的预训练模型。这类进展为开发更强大的EHPS基础模型开辟了广阔前景。
本研究的另一个主要局限在于所使用数据集的代表性。尽管我们采用了五个综合性基准数据集来评估全身泛化能力（另有另外两个数据集用于手部评估），但这些数据集可能无法完全涵盖现实世界的复杂性与多样性。不过据我们所知，本研究是迄今为止最系统的EHPS泛化研究。我们相信我们的研究结果广泛适用于真实场景，能为后续研究提供宝贵参考。
### 七、结论
在本研究中，我们对EHPS数据集进行了基准测试，由此获得了训练与微调一系列架构简洁的基础模型的思路。我们通过数据与模型扩展方面的大量实验，系统探究了充分利用所有可用数据集所产生的效果，最终使这些基础模型在准确性和泛化能力上均超越了现有的最先进方法。
因此，我们的研究具有三方面价值。首先，我们对EHPS数据集、泛化指标（MPE）及所提出的基准测试进行的系统性研究，可用于衡量未来相关研究在构建高性能、鲁棒性强的真实场景EHPS模型方面的表现。其次，SMPLer-X和SMPLest-X在设计时便兼顾了简洁性与模块化特点，集成了高度可复用的组件，且基于海量数据集训练而成，从而免去了后续研究人员重复这一资源密集型流程的必要。因此，这些预训练模型或其组件可直接嵌入任何EHPS或下游任务系统中使用。第三，我们的基准测试-微调范式有助于快速适配特定场景下的任何基础模型。具体而言，用户可收集训练集，用其评估来自不同数据集的预训练模型，进而选出最相关的数据集来微调基础模型。
## 参考文献
[^1]: G. Pavlakos et al., “Expressive body capture: 3D hands, face, and body from a single image,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., 2019, pp. 10975–10985.
[^2]: M. J. Black, P. Patel, J. Tesch, and J. Yang, “Bedlam: A synthetic dataset of bodies exhibiting detailed lifelike animated motion,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., 2023, pp. 8726–8737.
[^3]: Z. Cai et al., “Playing for 3D human recovery,” IEEE Trans. Pattern Anal. Mach. Intell., vol. 46, no. 12, pp. 10533–10545, Dec. 2024.
[^4]: Z. Yang et al., “Synbody: Synthetic dataset with layered human models for 3D human perception and modeling,” in Proc. IEEE Int. Conf. Comput. Vis., 2023, pp. 20282–20292.
[^5]: S. Zhang et al., “Egobody: Human body shape and motion of interacting people from head-mounted devices,” in Proc. Eur. Conf. Comput. Vis., 2022, pp. 180–200.
[^6]: J. Lin, A. Zeng, H. Wang, L. Zhang, and Y. Li, “One-stage 3D whole-body mesh recovery with component aware transformer,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., 2023, pp. 21159–21168.
## [^7]: B. L. Bhatnagar, X. Xie, I. A. Petrov, C. Sminchisescu, C. Theobalt, and G. Pons-Moll, “Behave: Dataset and method for tracking human object interactions,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., 2022, pp. 15935–15946
---
[^8]: Z. Fan et al., “Arctic: A dataset for dexterous bimanual hand-object manipulation,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., 2023, pp. 12943–12954.
[^9]: M. Fieraru, M. Zanfir, E. Oneata, A.-I. Popa, V. Olaru, and C. Sminchiscu, “Three-dimensional reconstruction of human interactions,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., 2020, pp. 7214–7223.
[^10]: H. Yi et al., “Generating holistic 3D human motion from speech,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., 2023, pp. 469–480.
[^11]: W. Cheng et al., “DNA-rendering: A diverse neural actor repository for high-fidelity human-centric rendering,” in Proc. IEEE Int. Conf. Comput. Vis., 2023, pp. 19982–19993.
[^12]: P. Patel, C.-H. P. Huang, J. Tesch, D. T. Hoffmann, S. Tripathi, and M. J. Black, “AGORA: Avatars in geography optimized for regression analysis,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., 2021, pp. 13468–13478.
[^13]: T. von Marcard, R. Henschel, M. J. Black, B. Rosenhahn, and G. Pons-Moll, "Recovering accurate 3D human pose in the wild using imus and a moving camera," in Proc. Eur. Conf. Comput. Vis., 2018, pp. 601–617.
[^14]: G. Pavlakos et al., “Expressive body capture: 3D hands, face, and body from a single image,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., 2019, pp. 10975–10985.
[^15]: J. Li, S. Bian, C. Xu, Z. Chen, L. Yang, and C. Lu, “Hybrik-X: Hybrid analytical-neural inverse kinematics for whole-body mesh recovery,” IEEE Trans. Pattern Anal. Mach. Intell., vol. 47, no. 4, pp. 2754–2769, 2025.
[^16]: H. Joo, N. Neverova, and A. Vedaldi, “Exemplar fine-tuning for 3D human model fitting towards in-the-wild 3D human pose estimation,” in Proc. Int. Conf. 3D Vis., 2022, pp. 42–52.
[^17]: G. Moon, H. Choi, and K. M. Lee, “Neuralannot: Neural annotator for 3D human mesh training sets,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., 2022, pp. 2299–2307.
[^19]: A. Kanazawa, J. Y. Zhang, P. Felsen, and J. Malik, “Learning 3D human dynamics from video,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., 2019, pp. 5614–5623.
[^18]: C. Lassner, J. Romero, M. Kiefel, F. Bogo, M. J. Black, and P. V. Gehler, “Unite the people: Closing the loop between 3D and 2D human representations,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., 2017, pp. 6050–6059.
[^20]: T.-Y. Lin et al., “Microsoft COCO: Common objects in context,” in Proc. Eur. Conf. Comput. Vis., 2014, pp. 740–755.
[^21]: J. Lin et al., “Motion-X: A large-scale 3D expressive whole-body human motion dataset,” in Proc. Adv. Neural Inf. Process. Syst., 2023, pp. 25268–25280.
[^22]: W. Yin et al., “WHAC: World-grounded humans and cameras,” in Proc. Eur. Conf. Comput. Vis., 2025, pp. 20–37.
[^23]: C.-H. P. Huang et al., “Capturing and inferring dense full-body human-scene contact,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., 2022, pp. 13274–13285.
[^24]: M. Andriluka, L. Pishchulin, P. Gehler, and B. Schiele, “2D human pose estimation: New benchmark and state of the art analysis,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., 2014, pp. 3686–3693.
[^25]: D. Mehta et al., “Single-shot multi-person 3D pose estimation from monocular RGB,” in Proc. Int. Conf. 3D Vis., 2018, pp. 120–130.
[^26]: M. Kaufmann et al., “EMDB: The electromagnetic database of global 3D human pose and shape in the wild,” in Proc. IEEE Int. Conf. Comput. Vis., 2023, pp. 14586–14597.
[^27]: M. Hassan, V. Choutas, D. Tzionas, and M. J. Black, “Resolving 3D human pose ambiguities with 3D scene constraints,” in Proc. IEEE Int. Conf. Comput. Vis., 2019, pp. 2282–2292.
[^28]: M. Kocabas, C.-H. P. Huang, J. Tesch, L. Müller, O. Hilliges, and M. J. Black, “SPEC: Seeing people in the wild with an estimated camera,” in Proc. IEEE Int. Conf. Comput. Vis., 2021, pp. 11035–11045.
[^29]: J. Li, C. Wang, H. Zhu, Y. Mao, H.-S. Fang, and C. Lu, "Crowdpose: Efficient crowded scenes pose estimation and a new benchmark," in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., 2019, pp. 10863–10872.
[^30]: D. Mehta et al., “Monocular 3D human pose estimation in the wild using improved CNN supervision,” in Proc. Int. Conf. 3D Vis., 2017, pp. 506–516.
[^31]: M. Fieraru, M. Zanfir, E. Oneata, A.-I. Popa, V. Olaru, and C. Sminchis-escu, “Learning complex 3D human self-contact,” in Proc. AAAI Conf. Artif. Intell., 2021, pp. 1343–1351.
[^32]: M. Andriluka et al., “Posetrack: A benchmark for human pose estimation and tracking,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., 2018, pp. 5167–5176.
[^33]: S. Tripathi, A. Chatterjee, J.-C. Passy, H. Yi, D. Tzionas, and M. J. Black, "DECO: Dense estimation of 3D human-scene contact in the wild," in Proc. IEEE Int. Conf. Comput. Vis., 2023, pp. 8001–8013.
[^34]: C. Ionescu, D. Papava, V. Olaru, and C. Sminchisescu, “Human3.6M: Large scale datasets and predictive methods for 3D human sensing in natural environments,” IEEE Trans. Pattern Anal. Mach. Intell., vol. 36, no. 7, pp. 1325–1339, Jul. 2014.
[^35]: Y. Yin, C. Guo, M. Kaufmann, J. Zarate, J. Song, and O. Hilliges, “HI4D: 4D instance segmentation of close human interaction,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., 2023, pp. 17016–17027.
[^36]: Y. Dai et al., “Sloper4D: A scene-aware dataset for global 4D human pose estimation in urban environments,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., 2023, pp. 682–692.
[^37]: Z. Yu, S. Huang, Y. Cheng, and T. Birdal, “SignAvatars: A large-scale 3D sign language holistic motion dataset and benchmark,” in Proc. Eur. Conf. Comput. Vis., 2025, pp. 1–19.
[^38]: M. Fieraru, M. Zanfir, S. C. Pirlea, V. Olaru, and C. Sminchisescu, "AIFit: Automatic 3D human-interpretable feedback models for fitness training," in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., 2021, pp. 9919–9928.
[^39]: L. Muller, A. A. Osman, S. Tang, C.-H. P. Huang, and M. J. Black, “On self-contact and human pose,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., 2021, pp. 9990–9999.
[^40]: S.-H. Zhang et al., “Pose2seg: Detection free human instance segmentation,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., 2019, pp. 889–898.
[^41]: S. Johnson and M. Everingham, “Learning effective human pose estimation from inaccurate annotation,” Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., pp. 1465–1472, 2011.
[^42]: S. Tripathi, L. Müller, C.-H. P. Huang, T. Omid, M. J. Black, and D. Tzionas, "3D human pose estimation via intuitive physics," in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., 2023, pp. 4713–4725.
[^43]: A. Sengupta, R. Cipolla, and I. Budvytis, “Synthetic training for accurate 3D human pose and shape estimation in the wild,” in Proc. Brit. Mach. Vis. Conf., 2020. [Online]. Available:
[^44]: D. Xiang, H. Joo, and Y. Sheikh, “Monocular total capture: Posing face, body, and hands in the wild,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., 2019, pp. 10965–10974.
[^45]: G. Pavlakos et al., “Monocular expressive body regression through body-driven attention,” in Proc. Eur. Conf. Comput. Vis., 2020, pp. 20–40.
[^46]: Y. Rong, T. Shiratori, and H. Joo, “FrankMocap: A monocular 3D whole-body pose estimation system via regression and integration,” in Proc. IEEE Int. Conf. Comput. Vis., 2021, pp. 1749–1759.
[^47]: Y. Zhou, M. Habermann, I. Habibie, A. Tewari, C. Theobalt, and F. Xu, “Monocular real-time full body capture with inter-part correlations,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., 2021, pp. 4811–4822.
[^48]: Y. Feng, V. Choutas, T. Bolkart, D. Tzionas, and M. J. Black, “Collaborative regression of expressive bodies using moderation,” in Proc. Int. Conf. 3D Vis., 2021, pp. 792–804.
[^49]: Y. Sun, T. Huang, Q. Bao, W. Liu, W. Gao, and Y. Fu, “Learning monocular mesh recovery of multiple body parts via synthesis,” in Proc. IEEE Int. Conf. Acoust., Speech Signal Process., 2022, pp. 2669–2673.
[^50]: H. Zhang, Y. Tian, Y. Zhang, M. Li, L. An, and Y. Liu, "PyMAF-X: Towards well-aligned full-body model regression from monocular images," IEEE Trans. Pattern Anal. Mach. Intell., vol. 45, no. 10, pp. 12287–12303, 2023.
[^51]: G. Moon, H. Choi, and K. M. Lee, “Accurate 3D hand pose estimation for whole-body 3D human mesh estimation,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., 2022, pp. 2308–2317.
[^52]: A. Dosovitskiy et al., “An image is worth $16 \times 16$ words: Transformers for image recognition at scale,” in Proc. Int. Conf. Learn. Representations, 2021. [Online]. Available:
[^53]: Q. Sun et al., “AiOS: All-in-one-stage expressive human pose and shape estimation,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., 2024, pp. 1834–1843.
[^54]: F. Baradel et al., “Multi-HMR: Multi-person whole-body human mesh recovery in a single shot,” in Proc. Eur. Conf. Comput. Vis., 2024, pp. 202–218.
[^55]: Z. Wang, Z. Wu, D. Agarwal, and J. Sun, "Medclip: Contrastive learning from unpaired medical images and text," in Proc. Conf. Empirical Methods Natural Lang. Process., vol. 2022, Art. no. 3876.
## [^56]: K. Black et al., “ $\pi$0: A vision-language-action flow model for general robot control,” 2024, arXiv:2410.24164
---
[^57]: K. Black et al., “ $\pi$0.5: A vision-language-action model with open-world generalization,” 2025, arXiv:2504.16054.
[^58]: B. Zitkovich et al., “RT-2: Vision-language-action models transfer web knowledge to robotic control,” in Proc. Conf. Robot Learn., 2023, pp. 2165–2183.
[^59]: J. Wang, M. Chen, N. Karaev, A. Vedaldi, C. Rupprecht, and D. Novotny, "VGGT: Visual geometry grounded transformer," in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., 2025, pp. 5294–5306.
[^60]: A. Radford et al., “Learning transferable visual models from natural language supervision,” in Proc. Int. Conf. Mach. Learn., 2021, pp. 8748–8763.
[^61]: J. Devlin, M.-W. Chang, K. Lee, and K. Toutanova, “BERT: Pretraining of deep bidirectional transformers for language understanding,” in Proc. Conf. North Amer. Chapter Assoc. Comput. Linguistics, 2019, pp. 4171–4186.
[^62]: L. Yuan et al., “Florence: A new foundation model for computer vision,” 2021, arXiv:2111.11432.
[^63]: OpenAI, “GPT-5 system card,” 2025. Accessed: Aug. 7, 2025. [Online]. Available:
[^64]: A. Kirillov et al., “Segment anything,” in Proc. IEEE/CVF Int. Conf. Comput. Vis., 2023, pp. 4015–4026.
[^65]: N. Ravi et al., “SAM 2: Segment anything in images and videos,” in Proc. 13th Int. Conf. Learn. Representations, 2025. [Online]. Available:
[^66]: H. Zhang et al., “DINO: DETR with improved denoising anchor boxes for end-to-end object detection,” in Proc. 11th Int. Conf. Learn. Representations, 2023. [Online]. Available:
[^67]: M. Oquab et al., “Dinov2: Learning robust visual features without supervision,” Trans. Mach. Learn. Res., 2024. [Online]. Available:
[^68]: L. Yang, B. Kang, Z. Huang, X. Xu, J. Feng, and H. Zhao, “Depth anything: Unleashing the power of large-scale unlabeled data,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., 2024, pp. 10371–10381.
[^69]: L. Yang et al., “Depth anything V2,” in Proc. Adv. Neural Inf. Process. Syst., 2024, pp. 21875–21911.
[^70]: O. Siméoni et al., “Dinov 3,” 2025, arXiv:2508.10104.
[^71]: S. Liu et al., “Grounding DINO: Marrying DINO with grounded pretraining for open-set object detection,” in Proc. Eur. Conf. Comput. Vis., 2024, pp. 38–55.
[^72]: S. Tang et al., “Humanbench: Towards general human-centric perception with projector assisted pretraining,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., 2023, pp. 21970–21982.
[^73]: Y. Ci et al., “UniHCP: A unified model for human-centric perceptions,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., 2023, pp. 17840–17852.
[^74]: R. Khirodkar et al., “Sapiens: Foundation for human vision models,” in Proc. Eur. Conf. Comput. Vis., 2024, pp. 206–228.
[^75]: I. Sárándi, A. Hermans, and B. Leibe, “Learning 3D human pose estimation from dozens of datasets using a geometry-aware autoencoder to bridge between skeleton formats,” in Proc. IEEE/CVF Winter Conf. Appl. Comput. Vis., 2023, pp. 2956–2966.
[^76]: H. E. Pang, Z. Cai, L. Yang, T. Zhang, and Z. Liu, “Benchmarking and analyzing 3D human pose and shape estimation beyond algorithms,” in Proc. Adv. Neural Inf. Process. Syst., 2022, pp. 26034–26051.
[^77]: G. Pavlakos, D. Shan, I. Radosavovic, A. Kanazawa, D. Fouhey, and J. Malik, “Reconstructing hands in 3D with transformers,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., 2024, pp. 9826–9836.
[^78]: I. Sárándi and G. Pons-Moll, “Neural localizer fields for continuous 3D human pose and shape estimation,” in Proc. Adv. Neural Inf. Process. Syst., 2024, pp. 140032–140065.
[^79]: H. Joo, N. Neverova, and A. Vedaldi, “Exemplar fine-tuning for 3D human model fitting towards in-the-wild 3D human pose estimation,” in Proc. Int. Conf. 3D Vis., 2021, pp. 42–52.
[^80]: L. McInnes, J. Healy, N. Saul, and L. Großberger, “UMAP: Uniform manifold approximation and projection,” J. Open Source Softw., vol. 3, no. 29, 2018, Art. no. 861.
[^81]: Y. Rong, Z. Liu, C. Li, K. Cao, and C. C. Loy, “Delving deep into hybrid annotations for 3D human recovery in the wild,” in Proc. IEEE Int. Conf. Comput. Vis., 2019, pp. 5340–5348.
[^82]: H. Zhang et al., “PyMAF-X: Towards well-aligned full-body model regression from monocular images,” IEEE Trans. Pattern Anal. Mach. Intell., vol. 45, no. 10, pp. 12287–12303, Oct. 2023.
[^83]: X. Contributors, “Openxrlab synthetic data rendering toolbox,” 2023. [Online]. Available:
[^84]: G. Moon, S.-I. Yu, H. Wen, T. Shiratori, and K. M. Lee, “Interhand2.6M: A dataset and baseline for 3D interacting hand pose estimation from a single RGB image,” in Proc. Eur. Conf. Comput. Vis., 2020, pp. 548–564.
[^85]: O. Taheri, N. Ghorbani, M. J. Black, and D. Tzionas, “Grab: A dataset of whole-body human grasping of objects,” in Proc. Eur. Conf. Comput. Vis., 2020, pp. 581–600.
[^86]: N. Mahmood, N. Ghorbani, N. F. Troje, G. Pons-Moll, and M. J. Black, “AMASS: Archive of motion capture as surface shapes,” in Proc. IEEE Int. Conf. Comput. Vis., 2019, pp. 5442–5451.
[^87]: W. Wang et al., “Zolly: Zoom focal length correctly for perspective-distorted human mesh reconstruction,” in Proc. IEEE Int. Conf. Comput. Vis., 2023, pp. 3925–3935.
[^88]: M. Contributors, “Openmmlab 3D human parametric model toolbox and benchmark,” 2021. [Online]. Available:
[^89]: H. Jian, J. Zhang, J. Wu, and Z. Tu, “EMO-X: Efficient multi-person pose and shape estimation in one-stage,” 2025, arXiv:2504.08718.
[^90]: Y. Xu, J. Zhang, Q. Zhang, and D. Tao, "Vitpose: Simple vision transformer baselines for human pose estimation," in Proc. Adv. Neural Inf. Process. Syst., 2022, pp. 38571–38584.
尹婉琪于南洋理工大学获得学士学位，2020年于东京大学获得硕士学位，目前她正在该校攻读博士学位，导师为山下淳教授。她同时也是商汤科技研究院的算法研究员。她曾在CVPR、NeurIPS、ICCV和ECCV等顶级会议上发表多篇论文。她的研究兴趣包括以人体动作捕捉和多摄像头系统为核心的计算机视觉领域。
蔡中昂（IEEE会员）于南洋理工大学获得学士和博士学位，师从刘子威教授和陈昌能教授。他目前是商汤科技研究院的研究科学家。他在NeurIPS、ICLR、CVPR、ICCV和ECCV等顶级会议上发表了30余篇论文。他的研究方向为人体的动作捕捉与生成。他积极参与学术服务工作。他曾荣获南洋理工大学顶尖学生颁发的李光耀金章奖以及Outstand奖。
ICLR'22和ICCV'21的杰出审稿人。
王瑞思于南洋理工大学计算与数据科学学院获得学士学位。她目前是商汤科技研究院的研究员。她曾在CVPR、ECCV等会议上发表或合作撰写多篇论文。她的研究兴趣包括计算机视觉、深度学习以及人体动作捕捉。她积极参与国际竞赛，在2024年HPC AI创新挑战赛中获得第二名，并在HPC ISC2023学生集群竞赛中荣获第一名。
曾爱玲（IEEE会员）于香港中文大学计算机科学与工程系获得博士学位。她曾是IDEA实验室的研究员，目前担任腾讯AI实验室的高级研究员。她已在CVPR、ICCV、ECCV、ICLR、ICML和NeurIPS等顶级会议上发表或合作撰写四十余篇论文。她的研究兴趣涵盖计算机视觉、深度学习及多模态生成，旨在利用可扩展的大数据构建类人的多模态智能体。她曾担任众多顶级会议和期刊的审稿人、领域主席或副编辑。
---
陈伟于南洋理工大学获得电气与电子工程学士学位。2021年，他曾在NTU的S-Lab担任算法研究实习生。2022年，他加入商汤科技国际有限公司。他已在ICCV、NeurIPS和CVPR等顶级会议上发表或合作撰写多篇论文。他的研究兴趣包括从游戏引擎生成合成人体数据，以及制定以人为中心的计算机视觉数据集标准。
张明远在中国北京航空航天大学获得计算机科学与工程学士学位。他目前在NTU的MMLab师从刘子威教授，攻读博士学位。他的研究兴趣包括计算机视觉领域中的动作合成、3D姿态估计及场景理解。他已在CVPR、ECCV、ICCV、ICLR和AAAI等顶级会议上发表或合作撰写论文。
孙庆平先后于海南大学和湖南大学获得学士及硕士学位。他目前正在香港城市大学攻读博士学位，同时也是商汤科技研究院的研究实习生。他的研究兴趣包括计算机视觉和计算机图形学。
梅海毅在南京理工大学获得自动化专业学士学位，在山东大学获得生物医学工程硕士学位。他目前是商汤科技的研究员。他已在CVPR、ICCV和NeurIPS等顶级会议上发表或合作撰写论文。他的研究兴趣包括文本/图像转视频生成，以及用于计算机视觉任务的合成数据。
王彦君于2022年在宋立教授的指导下从上海交通大学获得学士学位。他目前正在加州大学洛杉矶分校攻读计算机科学硕士学位。他曾作为研究实习生在商汤集团有限公司工作，师从杨磊博士。他已在CVPR和NeurIPS等国际会议上发表或合作撰写多篇相关领域的论文。
张雷（IEEE Fellow）于2001年在中国北京清华大学获得计算机科学博士学位。他曾担任微软公司的首席研究员及研究经理。他目前担任国际数字经济研究院（IDEA）的计算机视觉与机器人技术首席科学家，同时也是中国广州香港科技大学的兼职教授。他已发表或合著超过150篇技术论文，拥有60多项美国专利。他的研究方向包括计算机视觉和机器学习，尤其专注于大规模通用视觉识别领域。他曾担任《IEEE多媒体汇刊》、《IEEE电路与系统视频技术汇刊》以及《多媒体系统杂志》的编委会成员，并担任多个顶级会议的区域主席。
陈昌亮（IEEE Senior Member）于2010年在伦敦玛丽女王大学获得计算机科学博士学位。2013年至2018年间，他担任香港中文大学信息工程系的研究助理教授。他目前是南洋理工大学计算与数据科学学院的教授。他的研究兴趣涵盖计算机视觉和深度学习，重点在于图像/视频修复与增强、生成任务以及表征学习。
他曾担任《计算机视觉与图像理解》（CVIU）、《国际计算机视觉杂志》（IJCV）以及《IEEE模式分析与机器智能汇刊》（TPAMI）的副编辑。他还是ICCV、CVPR、ECCV、ICLR和NeurIPS等顶级会议的区域主席。
庞慧恩在新加坡国立大学获得了生物学学士学位以及地理信息系统硕士学位。她目前正在南洋理工大学攻读计算机科学博士学位。她曾任职于Grab、新加坡人工智能局以及商汤科技。她已在NeurIPS上发表或合著过论文。
山下淳（IEEE Senior Member）在日本东京大学获得了工程学学士、硕士及博士学位。他曾担任日本静冈大学的副教授，以及美国加州理工学院的访问学者。他目前是东京大学的教授。他的研究兴趣包括机器人技术、图像处理以及计算机视觉。
---
杨磊于2015年从清华大学获得学士学位，2020年在中国香港中文大学在林达华教授的指导下获得博士学位。他目前担任商汤科技集团的研究总监。他在相关领域的顶级会议或期刊上发表了30多篇论文，包括CVPR、ICCV、ECCV、NeurIPS、SIGGRAPH、《国际计算机视觉杂志》（IJCV）以及《IEEE模式分析与机器智能汇刊》。
刘子维（IEEE会员）于香港中文大学获得博士学位。他曾担任香港中文大学的高级研究学者，以及加州大学伯克利分校的博士后研究员。他目前是新加坡南洋理工大学的助理教授。他的研究方向包括计算机视觉、机器学习和计算机图形学。他在相关领域顶级会议和期刊上发表了大量论文，包括CVPR、ICCV、ECCV、NeurIPS、ICLR、ICML、《IEEE模式分析与机器智能汇刊》、《IEEE游戏汇刊》以及《自然-机器智能》。他曾荣获微软青年学者奖、香港博士奖学金、ICCV青年研究者奖和HKSTP最佳论文奖。他还曾担任ICCV、NeurIPS和ICLR的区域主席。