# SMPLer-X：扩展 expressive 人体姿态与形状估计能力 蔡中昂 $^{*1,2,3}$、尹婉琪 $^{*2,4}$、曾爱玲 $^{5}$、韦晨 $^{2}$、孙庆平 $^{2}$、王彦军 $^{2}$、彭慧恩 $^{1,2}$、梅海怡 $^{2}$、张明远 $^{1}$、张雷 $^{5}$、陈昌来 $^{1}$、杨磊 $^{\dagger,2,3}$、刘子薇 $^{\dagger,1}$ 南洋理工大学S-Lab、商汤科技研究院、上海人工智能实验室、东京大学、国际数字经济研究院（IDEA） ## 摘要 Expressive人体姿态与形状估计（EHPS）将人体、手部及面部的动作捕捉技术整合在一起，拥有广泛的应用前景。尽管相关研究已取得令人鼓舞的进展，但当前最先进的方法仍严重依赖有限的训练数据集。在本研究中，我们致力于将EHPS扩展到首个通用基础模型——SMPLer-X，该模型采用最高可达ViT-Huge的骨干网络，并使用来自不同数据源的多达450万个样本进行训练。凭借海量数据和大型模型优势，SMPLer-X在各类测试基准上均表现出强劲的性能，甚至对未见过的环境也具备出色的迁移能力。1）在数据扩展方面，我们对32个EHPS数据集进行了系统性研究，这些数据集涵盖了单一模型无法处理的多种场景。更重要的是，基于广泛的基准测试所获得的洞察，我们优化了训练方案，挑选出能显著提升EHPS能力的数据集。2）在模型扩展方面，我们利用视觉Transformer研究了模型规模在EHPS任务中的扩展规律。此外，我们的微调策略能将SMPLer-X转化为专用模型，进一步实现性能提升。值得注意的是，我们的基础模型SMPLer-X在AGORA（107.2毫米NMVE）、UBody（57.4毫米PVE）、EgoBody（63.6毫米PVE）和EHF（无需微调即可达到62.3毫米PVE）等七个基准测试中均持续取得最先进的成果。² ## 1 引言 近年来，从单目图像或视频中进行的Expressive人体姿态与形状估计（EHPS）技术取得了显著进展，为动画、游戏和时尚行业带来了变革性应用。该任务通常采用参数化人体模型（如SMPL-X [^51]）来精准表征复杂的人体、面部及手部结构。近年来，大量多样化的数据集涌入该领域 [^5] [^8] [^63] [^68] [^39] [^3] [^14] [^16] [^64] [^9]，为学界研究捕获环境、姿态分布、身体可见性及相机视角等多方面内容提供了新机遇。然而，最先进的方法仍局限于使用有限的数据集，这成为了不同场景下性能提升的瓶颈，也阻碍了模型对未见情况的泛化能力。 本研究的目标是全面探索现有数据资源，为构建鲁棒且具备普遍适用性的EHPS模型提供关键见解。据此，我们建立了首个EHPS系统基准测试，利用32个数据集对其性能进行评估。 --- 我们在五个主要基准测试中进行了评估。研究发现，不同基准之间存在显著差异，这反映出EHPS领域的复杂现状；因此，亟需通过扩大数据规模来弥合不同场景间的域差距。这项详尽的分析强调了重新评估现有EHPS数据集利用方式的必要性，主张转向具备更强泛化能力的更具竞争力的替代方案，同时也凸显了利用大量数据集以发挥其互补优势的重要性。 此外，我们系统探究了决定这些数据集可迁移性的影响因素。我们的研究为未来的数据集收集工作提供了实用建议：1）数据量并非越多越好：根据我们的观察，只要数据集包含约10万条以上的样本，即便规模不大也能发挥重要作用。2）如果无法收集野外（包括户外）数据，多样化的室内场景是很好的替代选择。3）尽管合成数据集存在可追溯的域差距，但其作用正变得愈发强大，程度令人惊讶。4）当没有真实的SMPL-X标注时，伪SMPL-X标签便能派上用场。 借助从基准测试中获得的知识，我们通过 SMPLer-X 展示海量数据的实力；SMPLer-X 是一个通用基础模型，使用多样化的数据集训练，并在各种场景中取得异常均衡的结果。为了与算法研究工作解耦，我们以极简主义思路设计 SMPLer-X：SMPLerX 具有非常简单的架构，仅包含 EHPS 最必要的组件。我们希望 SMPLer-X 能够促进海量数据和参数缩放，并作为该领域未来探索的基线，而不是对算法层面进行严格的探究。各种数据组合和模型规模的实验使我们得到一个表现全面的模型，它在所有挑战“有限数据集训练”这一社区惯例的基准测试中均表现出色。具体而言，我们的基础模型通过数据规模扩展和模型规模扩展均展现出显著的性能提升，将五个主要基准（AGORA [^50]、UBody [^39]、EgoB ![Image](images/c7395636aa7334435fc413b43435a3af749e812919cfb43cd0e024aaa4e7be97.jpg)
Figure 1: Scaling up EHPS. Both data and model scaling are effective in reducing mean errors on primary metrics across key benchmarks: AGORA [^50], UBody [^39], EgoBody [^68], 3DPW [^58] and EHF [^51]. OSX [^39] and H4W [^46] are SOTA methods. Area of the circle indicates model size, with ViT variants as the reference (top right).
ody [^68]、3DPW [^58] 和 EHF [^51]）的平均主误差从超过 110 mm 降至 70 mm 以下（如图 1 所示），并通过有效迁移到新场景（例如 DNA-Rendering [^9] 和 ARCTIC [^14]）展现出令人印象深刻的泛化能力。 此外，我们验证了微调通用基础模型以将其转化为特定领域专家的有效性，这些专家模型在所有基准测试中均表现出色。具体而言，我们采用同样的数据筛选策略，助力专家模型在AGORA排行榜上创下新纪录：其NMVE数值首次达到107.2毫米（提升了11.0%），同时在EgoBody、UBody和EHF基准测试中也取得了最先进的性能。 我们的贡献主要有三点：1）我们构建了首个系统且全面的EHPS数据集基准，为扩充训练数据以实现鲁棒且可迁移的EHPS提供了关键指导。2）我们探索了数据与模型扩展在构建通用基础模型中的应用，该模型能在各类场景中取得均衡结果，并能成功适配未见过的数据集。3）我们将数据筛选策略拓展到基础模型的微调中，从而打造出适用于各类基准场景的强大专家模型。 ## 2 相关工作 表现力丰富的人体姿态与形状估计（EHPS）。由于3D虚拟人研究应用的蓬勃发展[^66] [^67] [^21] [^20] [^7]，以及参数化模型（如SMPL [^42]和SMPL-X [^51]）的出现，从图像和视频中捕捉人体姿态与形状（HPS）[^28] [^33] [^30] [^31] [^38] [^59] [^60]，以及额外的手部与面部信息（EHPS）[^51] [^61] [^10] [^53] [^70] [^15] [^56] [^65]，受到了越来越多的关注。 --- ![Image](images/da886322ce9d172480eee940bfdc3a51650b7593de26867253c9a1c3bad5437d.jpg)
Figure 2: Dataset attribute distributions. a) and d) are image feature extracted by HumanBench [^57] and OSX [^39] pretrained ViT-L backbone. b) Global orientation (represented by rotation matrix) distribution. c) Body pose (represented by 3D skeleton joints) distribution. Both e) scenes and f) Real/Synthetic are drawn on the same distribution as d). All: all datasets. UMAP [^43] dimension reduction is used with the x and y-axis as the dimensions of the embedded space (no unit).
基于优化的方法（如SMPLify-X [^51]）会检测对应全身的2D特征，并拟合SMPL-X模型。不过，这类方法存在运算速度慢的问题，且最终效果受限于2D关键点检测器的质量。因此，基于学习的方法应运而生。EHPS面临的关键挑战之一是：与仅针对身体的估计相比，手部与面部的分辨率较低，这导致关节化手部姿态估计和高质量表情捕捉变得困难。相应地，主流的全身模型会先检测并裁剪出手部和面部的图像块，再将它们缩放至更高分辨率，随后输入到专门的手部和面部网络中以估计对应的参数[^10] [^53] [^70] [^15] [^56] [^46] [^65] [^35]。由于这类流程的多阶段性极强，难免会导致网格的关节运动不一致且不自然，还会出现不合理的3D手腕旋转现象，尤其在存在遮挡、截断或模糊的场景中更为明显。近期，OSX [^39]提出了首个基于ViT骨干网络的一阶段框架[^13]，以解决以往多阶段流程中的这些问题。该方法为模型的规模化扩展提供了极具前景且简洁的途径。不过，为了公平比较，他们仅使用了有限的数据集进行训练，并未探索结合更多数据以实现更具泛化性和精确性的EHPS。 面向以人为中心的视觉任务的多数据集训练。近期，研究人员开始利用多个数据集对通用模型进行预训练，以适配各类以人为中心的下游任务。例如，HumanBench [^57]利用了37个数据集，而UniHCP [^11]则使用了33个数据集来开展ReID、行人检测和2D姿态估计等任务。不过，这些研究仅评估了2D任务的效果。Sárándi等人[^54]利用28个数据集训练出用于3D关键点检测的强大模型，但该模型仅能恢复受试者的骨骼，无法估计身体形状和网格。Pang等人[^49]分析了31个用于人体姿态与形状估计（即SMPL估计）的数据集，但其中并未包含手部与面部估计内容，且在最多样化的训练场景中同时使用的数据集也不超过十个。本文旨在扩大EHPS的训练数据和模型规模，从而同时恢复人体、手部和面部的表现力丰富的姿态与形状。 ## 3 EHPS数据集基准测试 ### 3.1 preliminaries SMPL-X。我们借助三维参数化人体模型SMPL-X [^51]来研究富有表现力的人体姿态与形状估计问题，该模型通过参数来描述人体、手部及面部的几何结构。具体而言，我们的目标是估计姿态参数 $\theta \in \mathbb{R}^{55 \times 3}$，这些参数包括身体、手部、眼睛及下颌的姿态；还有关节处的身体、手部和面部形状 $\beta \in \mathbb{R}^{10}$，以及面部表情 $\psi \in \mathbb{R}^{10}$。关节回归器 $\mathcal{J}$ 用于通过 $R_{\theta}(\mathcal{J}(\beta))$ 从参数中获取三维关键点，其中 $R_{\theta}$ 是沿运动树进行的变换函数。 ---
Table 1: Benchmarking EHPS datasets. For each dataset, we train a model on its training set and evaluate its performance on the val set of AGORA and testing sets of UBody, EgoBody (EgoSet), 3DPW, and EHF. Datasets are then ranked by mean primary error (MPE). Top-1 values are bolded, and the rest of Top-5 are underlined. #Inst.: number of instances used in training. ITW: in-the-wild. EFT [^27], NeuralAnnot (NeA) [^47] and UP3D [^34] produce pseudo labels.
Dataset#Inst.SceneReal/SyntheticSMPLSMPL-XAGORA [^50]UBody [^39]EgoBody [^68]3DPW [^58]EHF [^51]
PVE↓PVE↓PVE↓MPJPE↓PVE↓PVE↓MPE↓MPE↓
BEDLAM [^5]951.1KITWSyn-Yes164.74132.58109.1281.11117.1
SynBody [^63]633.5KITWSyn-Yes166.75144.611136.64106.55133.5
InstaVariety [^29]2184.8KITWRealNeA-195.09125.44140.19100.63134.3
GTA-Human II [^8]1802.2KITWSyn-Yes161.214143.710139.28103.44137.8
MSCOCO [^40]149.8KITWRealEFTNeA191.68107.212139.07121.210135.8
EgoBody-MVSet [^68]845.9KIndoorRealYesYes190.97191.418127.0399.22142.1
AGORA [^50]106.7KITWSynYesYes124.81128.46138.46131.112164.6
EgoBody-EgoSet [^68]90.1KIndoorRealYesYes207.115126.85103.11134.418121.4
RICH [^22]243.4KITWReal-Yes195.610168.115137.95115.58127.5
MPII [^2]28.9KITWRealEFTNeA202.111123.93155.515131.914140.8
MuCo-3DHP [^45]465.3KITWRealYes-187.76185.417146.412119.49134.7
PROX [^19]88.5KIndoorReal-Yes204.113180.316151.813132.517122.5
UBody [^39]683.3KITWRealYes-207.01478.711145.611149.423132.1
SPEC [^32]72.0KITWSynYes-161.56146.112154.814139.721197.4
CrowdPose [^36]28.5KITWRealNeA-207.116129.87156.916156.315155.5
MPI-INF-3DHP [^44]939.8KITWRealNeANeA221.520166.714142.710131.623155.5
HumanSC3D [^17]288.4KStudioReal-Yes215.218237.822167.317113.07107.1
PoseTrack [^1]28.5KITWRealEFT-218.119161.013180.821150.224149.9
BEHAVE [^3]44.4KIndoorRealYes-208.317205.820175.819132.015145.0
CHI3D [^16]252.4KStudioReal-Yes203.312264.725175.718122.611121.0
Human3.6M [^23]312.2KStudioRealNeANeA226.021276.126200.624112.36120.8
DNA-R-HiRes [^9]998.1KStudioReal-Yes230.022278.227179.220134.519149.7
3DPW [^58]22.7KITWRealYesNeA234.023259.319192.623140.622142.9
ARCTIC [^14]159.1KStudioReal-Yes308.529200.719186.422202.526182.5
DNA-R [^9]3992.0KStudioReal-Yes274.726341.530214.427138.420115.5
UP3D [^34]7.1KITWRealUP3D-257.524224.121216.628211.527194.8
Talkshow [^64]3326.9KIndoorReal-Yes286.427133.29203.625291.329201.9
FIT3D [^18]1779.3KStudioReal-Yes329.730404.031213.826132.116148.1
MTP [^48]3.2KITWRealYesYes272.725284.928273.229265.228244.6
OCHuman [^69]2.5KITWRealEFT-307.128263.324279.330293.430281.7
LSPET [^25]2.9KITWRealEFT-365.731292.629340.131339.831316.3
SSP3D [^55]311ITWRealYes-549.832522.432548.132439.032539.5
评估指标。我们采用EHPS领域的标准指标。PVE（顶点误差）和MPJPE（平均关节位置误差）分别用于衡量顶点和回归关节的平均L2误差。“PA”前缀表示在计算误差前会先进行Procrustes对齐。AGORA排行榜 [^50] 引入了NMVE（归一化平均顶点误差）和NMJE（归一化平均关节误差），这两个指标会考虑检测性能的F1分数。此外，我们提出了MPE（平均主要误差），它取多个主要指标的平均值（3DPW [^58] 测试集采用MPJPE，AGORA、UBody、EgoBody和EHF数据集采用PVE），用以评估模型的泛化能力。所有误差均以毫米为单位报告。 ### 3.2 数据源概述 在本研究中，我们分析了三类主要的数据集。1）动作捕捉数据集利用光学 [^23] [^16] [^14] [^17] [^18] [^44] 或基于视觉的 [^68] [^19] [^9] [^7] 多视角动作捕捉系统，通常在演播室环境中采集。不过，也有可能在户外环境采集，或使用IMU等额外传感器 [^58]。这类数据集通常能提供高质量的3D标注，但由于物理限制而灵活性较差，尤其是那些采用固定捕捉系统且需要精确传感器校准的数据集。2）伪标注数据集 [^40] [^1] [^36] [^39] [^45] [^29] [^69] [^2] [^25] [^48] [^64] [^55]，它们为现有图像数据集重新添加参数化人体标注 [^26] [^47] [^39]。这类数据集利用了2D数据集的多样性，尽管其伪3D标注的质量通常不高，但已被证明是有效的 [^49] [^33] [^26]。3）合成数据集 [^5] [^8] [^32] [^50] [^63]，它们通过渲染引擎（如Unreal Engine）生成。这类数据集能产出最精确的3D标注，且易于扩展出高度多样化的数据。不过，合成数据与真实数据之间的差距尚未完全解决。各数据集的关键属性详见表1。 为了评估EHPS能力在各类场景下的表现，我们选取了多个关键数据集来构建全面的基准测试。这些数据集应具备以下理想特性：1）包含准确的SMPL或SMPL-X标注；2）能够反映现实场景的某些方面；3）被广泛使用，但对于两年内发布的新数据集，这一要求可适当放宽；4）具有明确划分的测试集。基于此，我们选取了五个能代表不同方面的数据集作为评估数据集：AGORA [^50]、UBody [^39]、EgoBody [^68]、3DPW [^58]以及EHF [^51]。我们在补充材料中简要介绍了这五个数据集及其他数据集。AGORA --- 是应用最广泛的SMPL-X评估基准。它是一套合成数据集，涵盖了多样化的受试者外观、姿态和环境，且标注质量很高。我们同时在验证集和测试集（排行榜）上进行评估，因为后者对提交次数有每月限制。UBody是最新发布的大规模数据集，包含伪SMPL-X标注，涵盖了十五种现实场景，如脱口秀、视频会议和视频日志，主要以图像中的上半身为主。我们在训练和测试时遵循场景内协议，即所有场景均会被见到。EgoBody捕捉的是3D场景中社交互动时的人体动作，同样包含伪SMPL-X标注。它由第一人称视角数据集（EgoSet）和第三视角多摄像头数据集（MVSet）组成。我们在存在严重截断和不可见情况的EgoSet上进行测试。3DPW是最受欢迎的野外数据集，带有SMPL标注。由于缺少SMPL-X标注，我们按照常规协议将SMPL-X关键点映射到14个LSP [^24] 关键点上进行测试 [^28] [^33]。EHF是一个经典数据集，包含100帧经过精心挑选的室内工作室场景下的单受试者图像，这些图像标注了多样化的身体姿态，尤其是手部姿态的SMPL-X顶点信息。它虽有测试集，但没有训练集或验证集，因此仅用于评估跨数据集性能。 除了作为EHPS领域热门或最新的评估集外，我们还进一步分析了这五个数据集是否共同覆盖了现有数据集的广泛范围。在图3中，我们将所有数据集随机下采样至等长（1K个样本），并利用UMAP [^43] 来可视化几个关键方面。我们使用来自HumanBench [^57] 和OSX [^39] 的预训练ViT-L模型，处理通过边界框裁剪的图像中所提取的Patch Token并将其展平为特征向量。HumanBench针对多种以人为中心的任务（如行人重识别、部件分割和2D姿态估计）进行训练，而OSX则是EHPS领域的专业模型。至于全局方向，它与相机姿态密切相关，因为我们将所有数据转换为相机坐标系；我们通过展平的旋转矩阵表示来绘制其分布。此外，我们遵循[^52] [^8] [^49] 的方法，将姿态表示为从参数模型回归出的3D关键点。具体来说，我们将21个SMPL-X身体关键点和每只手15个手部关键点展平，除身体姿态和手部姿态外，其他参数均设为零。结果显示：1）这五个基准数据集的分布各不相同，这与其各自设定的用途相符；2）总体而言，这五个数据集几乎覆盖了整个数据集池的广泛范围。 ### 3.3 各数据集上的基准测试 在本节中，我们旨在对数据集进行基准测试，找出在各种场景下表现优异的数据集。为了评估每个数据集的性能，我们使用该数据集的训练集来训练SMPLer-X模型，并在五个评估数据集（AGORA、UBody、EgoBody、3DPW和EHF）的验证集/测试集上对该模型进行评估。此处，基准测试模型统一采用ViT-S作为骨干网络，在4块V100 GPU上训练5个周期，总批量大小为128，学习率为$1 \times 10^{-5}$。数据集预处理细节详见补充材料。 在表1中，我们报告了32个数据集的主要指标（见3.1节）及排名情况。完整结果见补充材料。我们还计算了平均主要误差（MPE），以便于对各数据集进行直观比较。需要注意的是，计算MPE时排除了AGORA、UBody、EgoBody和3DPW在其自身测试集上的性能数据。这是因为同域评估结果通常远优于跨域评估结果，会导致误差显著下降。此外需注意的是，有些数据集是专为特定用途设计的（例如用于手势生成的Talkshow [^64]，用于人体NeRF重建的DNA-Rendering [^9]），它们在我们专注于EHPS（感知任务）的基准测试中排名较低，但这并不削弱其对计算机视觉领域的独特价值和贡献。 从基准测试结果来看，我们发现仅在单一数据集上训练的模型往往在同一领域内表现良好，但在其他领域却往往无法取得佳绩。例如，在AGORA上训练的模型在AGORA验证集上的排名达到$1^{st}$，但在UBody上的排名仅为$6^{th}$，在EgoBody上为$6^{th}$，在3DPW上为$12^{th}$，在EHF上则为$24^{th}$。这一观察结果表明：1）测试场景具有多样性，凸显了EHPS任务的挑战性；2）由于不同领域之间存在显著差异，数据规模扩展对于训练出鲁棒且具备迁移能力的EHPS模型至关重要。 ### 3.4 数据集属性分析 在本节中，我们研究了影响模型泛化能力的属性。不过需要指出的是，此类分析并非易事：这些属性往往存在相互关联的影响。 --- ![Image](images/b230ae340c7f0ee7d2ed9af4c1c6e76daf1cd9db827e40767dbaa9ebf28306a3.jpg) ![Image](images/b6eac5b84a9bda82fa3e0fc722f38a0c70128ee9122e2afa2f43a6a3bbe3dc32.jpg) ![Image](images/3bad392e6deeb9b3784ad6fe8c0eaa89e60fadf901136fef938c698219c228e8.jpg) ![Image](images/de8ef91025055a2ac5422f4841cef04ba9baac8198f6c63074c2312382cef1b9.jpg)
d) Annotation
Figure 3: Analysis on dataset attributes. We study the impact of a) the number of training instances, b) scenes, c) real or synthetic appearance, and d) annotation type, on dataset ranking in Table 1.
因此，反例在所难免（例如我们发现InstaVariety这一自然场景数据集表现强劲，而另一自然场景数据集LSPET的表现则不尽如人意）。尽管确定单个数据集成功的具体因素颇具挑战，但我们还是从整体角度出发，试图识别出图3中所列的几个关键因素[^49] [^41] [^8]所呈现的普遍趋势，下文将对此展开讨论。 首先，图3a)显示，一旦训练样本数量超过约10万，数据集的性能（以排名衡量）与训练样本数量之间并无强烈关联。虽然极少量的训练数据不足以训练出强大的模型，但数据量过大也并不保证能取得良好性能。例如，MSCOCO仅包含14.98万个训练样本，其排名却高于那些规模更大的数据集$10 \times$。这或许归因于MSCOCO数据集中丰富多样的外观和复杂的场景。因此，当数据集的规模已经足够大时，将资源投入到提升数据的多样性和质量上会更具成本效益。 其次，我们将数据集分为三类：1）自然场景数据集，包含来自多样化环境的数据；2）室内场景数据集，涵盖多种场景；3）摄影棚数据集，采用固定的多视角设置。具体而言，图3b)显示排名前10的数据集大多属于自然场景数据集，室内场景数据集集中在前20名，而摄影棚数据集在基准测试中的排名往往较低。此外，图2e)表明自然场景数据集的分布最为多样，同时涵盖了室内和摄影棚数据集。室内场景数据集的分布较为合理，而摄影棚数据集的多样性最低。我们的研究结果验证了先前的研究结论，即存在室内外领域差异 [^27]。与Pang等人 [^49] 的研究不同，他们并未区分室内和摄影棚数据集；我们认为将所有室内采集的数据集归为同一类别会过于简化分析。例如，以EgoBody [^68] 和Human3.6M [^23] 为例：这两个数据集都没有室外数据，但EgoBody包含多种多样的室内场景，而Human3.6M仅涉及一种场景，这可能正是EgoBody排名优于Human3.6M的原因。因此，这表明自然场景数据采集是最理想的选择，而丰富室内场景则是次优替代方案。 第三，五种当代合成数据集 [^5] [^63] [^50] [^32] [^8] 大多表现出惊人的性能，在图3c)中排名靠前。值得注意的是，用于评估的五个基准数据集中有四个（UBody、EgoBody、3DPW和EHF）是真实数据集，这说明从合成数据中学到的知识可迁移到真实场景中。为了解释这一现象，我们仔细观察图2f)：尽管真实数据集和合成数据集之间没有大量重叠，但合成数据具备两个理想特性。首先，在最右侧的簇中，真实数据与合成数据有较高的重叠度。参考图2e)可知，该簇主要代表自然场景数据；因此，合成数据包含了大量与真实自然场景极为相似的图像。其次，合成数据在其他簇中也有图像特征的散布，这表明合成数据在一定程度上覆盖了各种真实场景。 第四，图3d)显示，拥有精确或伪SMPL-X标注的数据集具有较高价值，因为这类数据集占据了前10名中的大多数。一个典型的例子是InstaVariety [^29]，它仅通过NeuralAnnot [^47] 生成伪SMPL-X标注，却在我们的基准测试中排名第三。然而，由于参数空间存在差异，SMPL标注的效果较差：观察发现，带有SMPL标注的数据集往往集中在基准测试的较低区间，尤其是那些带有伪SMPL标注的数据集。这一观察结果表明，SMPL-X ---
Table 2: Foundation Models. We study the scaling law of the amount of data and the model sizes. The metrics are MPJPE for 3DPW, and PVE for other evaluation benchmarks. Foundation models are named "SMPLer-X-MN", where M indicates the size of ViT backbone (S, B, L, H), N is the number of datasets used in the training. FPS: inference speed (frames per second) on a V100 GPU. MPE: mean primary error. AGORA uses the validation set, and EgoBody uses the EgoSet.
#Datasets#Inst.Model#Param.FPSAGORA [^50]EgoBody [^68]UBody [^39]3DPW [^58]EHF [^51]MPE
50.75MSMPLer-X-S532M36.2119.0114.2110.1110.2100.5110.8
101.5MSMPLer-X-S1032M36.2116.088.6107.797.489.999.9
203.0MSMPLer-X-S2032M36.2109.284.370.787.586.687.7
324.5MSMPLer-X-S3232M36.2105.282.568.183.274.182.6
50.75MSMPLer-X-B5103M33.1102.7108.1105.8104.896.1103.5
101.5MSMPLer-X-B10103M33.197.876.4107.389.974.789.2
203.0MSMPLer-X-B20103M33.195.675.565.383.573.078.6
324.5MSMPLer-X-B32103M33.188.072.763.380.367.374.3
50.75MSMPLer-X-L5327M24.488.398.7110.897.889.597.0
101.5MSMPLer-X-L10327M24.482.669.7104.082.564.080.6
203.0MSMPLer-X-L20327M24.480.766.661.578.365.470.5
324.5MSMPLer-X-L32327M24.474.262.257.375.262.466.2
50.75MSMPLer-X-H5662M17.589.087.4102.188.368.387.0
101.5MSMPLer-X-H10662M17.581.465.7100.778.756.676.6
203.0MSMPLer-X-H20662M17.577.563.559.974.459.467.0
324.5MSMPLer-X-H32662M17.569.559.554.575.056.863.1
标注对EHPS至关重要；即便标注可能存在噪声，拟合伪标签仍是一种有效的策略。此外，利用SMPL标签来估算SMPL-X仍然是一项挑战。 ## 4 扩展EHPS规模 ### 4.1 模型架构 为了满足研究需求，我们设计了一个极简的框架（称为SMPLer-X），它仅保留最核心的部分，原因有二。首先，由于我们要用大量数据进行训练，该框架必须具备可扩展性和高效性。其次，我们希望创建一个与特定算法设计解耦的框架，为未来的研究奠定坚实基础。为此，SMPLer-X由三部分组成：主干网络用于提取图像特征，出于其可扩展性考虑，我们采用了Vision Transformer [^13]；颈部网络则从特征图中预测手部与脸部的边界框及感兴趣区域；回归头则用于估计各部位的参数。 ![Image](images/6b2392e33049730e98496a6407826959eb4416800b7de63a1de20892f247e9c5.jpg)
Figure 4: Architecture of SMPLer-X, which upholds the idea that "simplicity is beauty". SMPLer-X contains a backbone that allows for easy investigation on model scaling, a neck for hand and face feature cropping, and heads for different body parts. Note that we wish to show in this work that model and data scaling are effective, even with a straightforward architecture.
请注意，SMPLer-X不需要第三方检测器 [^53]、跨部位特征交互模块 [^10] [^15]、粗糙的SMPL-X估计投影模块 [^65] 或复杂的解码器 [^39]。由于SMPLer-X的设计并非本研究重点，更多细节详见补充材料。 ### 4.2 通用基础模型的训练 目前最先进的方法 [^39] [^46] 通常仅使用少数几个数据集（如MSCOCO、MPII和Human3.6M）进行训练，而我们则研究了使用更多数据集进行训练的情况。不过需要强调的是，表1中的数据集基准无法直接使用：根据评估基准测试集上的表现来选择数据集会泄露有关测试集的信息。因此，我们在补充材料中构建了另一个数据集基准，该基准根据主要EHPS基准测试集的训练集对各个数据集进行排名。我们选用了四种数据量：5个、10个、20个和32个数据集作为训练集，对应的实例总数分别为0.75M、1.5M、3.0M和4.5M。我们始终优先选择排名靠前的数据集。 ---
Table 3: AGORA test set. † denotes the methods that are finetuned on the AGORA training set. *denotes the methods that are trained on AGORA training set only.
MethodNMVE $\downarrow$ (mm)NMJE $\downarrow$ (mm)MVE $\downarrow$ (mm)MPJPE $\downarrow$ (mm)
AllBodyAllBodyAllBodyFaceLHandRHandAllBodyFaceLHandRHand
BEDLAM [^5]179.5132.2177.5131.4131.096.525.838.839.0129.695.927.836.636.7
Hand4Whole [^46] $\dagger$144.196.0141.192.7135.590.241.646.348.1132.687.146.144.346.2
BEDLAM [^5] $\dagger$142.2102.1141.0101.8103.874.523.131.733.2102.974.324.729.931.3
PyMaF-X [^65] $\dagger$141.294.4140.093.5125.784.035.044.645.6124.683.237.942.543.7
OSX [^39] *130.685.3127.683.3122.880.236.245.446.1119.978.337.943.043.9
HybrIK-X [^35]120.573.7115.772.3112.168.537.046.747.0107.667.238.541.241.4
SMPLer-X-L20133.188.1128.984.6123.881.937.443.644.8119.978.739.541.444.8
SMPLer-X-L32122.880.3119.177.6114.274.735.141.342.2110.872.236.739.140.1
SMPLer-X-L20 $\dagger$107.268.3104.166.399.763.529.939.139.596.861.731.436.737.2
Table 4: AGORA Val set. † and * are finetuned on the AGORA training set, and trained on the AGORA training set only, respectively.
MethodPA-PVE $\downarrow$ (mm)PVE $\downarrow$ (mm)
AllHandsFaceAllHandsFace
Hand4Whole [^46] $\dagger$73.29.74.7183.972.881.6
OSX [^39]69.411.54.8168.670.677.2
OSX [^39] $^{{*}}$45.08.53.979.648.237.9
SMPLer-X-B1 $^{{*}}$48.98.64.086.151.541.2
SMPLer-X-L2048.68.94.080.751.041.3
SMPLer-X-L3245.18.73.874.247.838.7
SMPLer-X-L20 $\dagger$39.19.33.862.542.332.8
Table 5: EHF. As EHF does not have a training set to benchmark datasets, we do not perform finetuning. Moreover, EHF is not seen in our training and can be used to validate our foundation models' transferability.
MethodPA-PVE $\downarrow$ (mm)PVE $\downarrow$ (mm)
AllHandsFaceAllHandsFace
Hand4Whole [^46]50.310.85.876.839.826.1
OSX [^39]48.715.96.070.853.726.4
SMPLer-X-L2037.815.05.165.449.417.4
SMPLer-X-L3237.114.15.062.447.117.0
为防止较大的数据集掩盖较小数据集的作用，我们采用了平衡采样策略。具体而言，所有选定的数据集会被统一上采样或下采样至相同长度，再汇总达到指定的总长度。为了便于训练，我们遵循OSX [^39] 的做法，使用AGORA、UBody、MPII、3DPW以及COCO格式的Human3.6M [^40]，并将所有其他数据集标准化为HumanData [^12] 格式。我们还研究了四种不同尺寸的ViT主干网络（ViT-Small、Base、Large和Huge），它们均由ViTPose [^62] 预训练而成。训练在16块V100 GPU上进行，总批量大小为512（ViT-Huge为256），共训练10个周期。更多训练细节，比如SMPL的调整或数据集数量等，均包含在补充材料中。 表2展示了使用不同数量的数据集和基础模型所获得的实验结果。这些基础模型被命名为“SMPLer-X-MN”，其中M可以是S、B、L、H，分别表示ViT主干网络的尺寸，N则表示训练时所用数据集的数量。例如，SMPLer-X-L10表示以ViT-L为主干网络、使用排名前10的数据集（根据关键评估基准训练集上的表现排名）训练得到的基础模型。观察可知：1）更多的训练数据（数据规模扩大）能带来更好的MPE性能。随着训练数据集数量的增加，模型性能逐渐提升。不过除了训练实例数的增加外，更多数据集还提供了更丰富的多样化场景，我们认为这也是其在各评估基准上性能提升的关键因素。2）在任何给定数据量下，规模更大的基础模型性能更佳。不过，当模型规模进一步扩大时，其带来的边际收益会逐渐减少。
Table 10: 3DPW. † denotes the methods that use a head for SMPL regression. † and * are finetuned on the 3DPW training set and trained on 3DPW training set only, respectively. Unit: mm.
MethodMPJPEPA-MPJPE
Body-only (SMPL) Methods
OSX-SMPL [^39] $^{\dagger\ddagger}$74.745.1
HybrIK [^37]71.641.8
CLIFF [^38]68.043.0
Whole-Body (SMPL-X) Methods
Hand4Whole [^46]86.654.4
ExPose [^10]93.460.7
OSX [^39] $^{\dagger}$86.260.6
SMPLer-X-B1 $^{{*}}$95.667.6
SMPLer-X-L2078.352.1
SMPLer-X-L3275.250.5
SMPLer-X-L20 $^{\dagger}$76.851.5
尺寸为L级。具体来说，ViT-H的参数数量是ViT-L的两倍多，但性能提升并不显著。3）基础模型的表现总是优于在单一训练集上进行的领域内训练。例如，SMPLer-X-B20在AGORA验证集以及UBody、EgoBody和3DPW测试集上的表现，均优于表1中在相应训练集上专门训练的模型。这一点在实际应用中非常有用：无需针对每种使用场景分别训练模型，通用型基础模型蕴含的丰富知识足以成为一劳永逸的解决方案。 ---
Table 6: UBody. † denotes the methods that are finetuned on the UBody training set. * denotes the methods that are trained on UBody training set only.
MethodPA-PVE $\downarrow$ (mm)PVE $\downarrow$ (mm)
AllHandsFaceAllHandsFace
PIXIE [^15]61.712.24.2168.455.645.2
Hand4Whole [^46]44.88.92.8104.145.727.0
OSX [^39]42.410.82.492.447.724.9
OSX [^39] $\dagger$42.28.62.081.941.521.2
SMPLer-X-B1 $^{*}$38.510.83.064.845.422.3
SMPLer-X-L2033.210.62.861.543.323.1
SMPLer-X-L3230.910.22.757.339.221.6
SMPLer-X-L-20 $\dagger$31.910.32.857.440.221.6
Table 8: ARCTIC. † and * denote the methods that are finetuned on the ARCTIC training set and trained on the ARCTIC training set only, respectively.
MethodPA-PVE $\downarrow$ (mm)PVE $\downarrow$ (mm)
AllHandsFaceAllHandsFace
Hand4Whole [^46]63.418.14.0136.854.859.2
OSX [^39]56.917.53.9102.656.544.6
OSX [^39] $\dagger$33.018.83.358.439.430.4
SMPLer-X-B1 $^{{*}}$45.218.93.466.642.534.0
SMPLer-X-L1046.918.12.376.950.833.2
SMPLer-X-L3229.418.92.748.638.826.8
SMPLer-X-L10 $\dagger$33.119.02.754.940.127.3
Table 7: EgoBody-EgoSet. † denotes the methods that are finetuned on the EgoBody-EgoSet training set. * denotes the methods that are trained on EgoBody-EgoSet training set only.
MethodPA-PVE $\downarrow$ (mm)PVE $\downarrow$ (mm)
AllHandsFaceAllHandsFace
Hand4Whole [^46]58.89.73.7121.950.042.5
OSX [^39]54.611.63.7115.750.641.1
OSX [^39] $\dagger$45.310.03.082.346.835.2
SMPLer-X-B1 $^{*}$56.110.73.587.249.434.9
SMPLer-X-L2038.99.93.066.642.731.8
SMPLer-X-L3236.39.82.962.241.430.7
SMPLer-X-L20 $\dagger$37.89.92.963.642.530.8
Table 9: DNA-Rendering-HiRes. † and * are finetuned on the DNA-Rendering-HiRes training set and trained on the DNA-Rendering-HiRes training set only, respectively.
MethodPA-PVE $\downarrow$ (mm)PVE $\downarrow$ (mm)
AllHandsFaceAllHandsFace
Hand4Whole [^46]62.811.04.2111.456.452.6
OSX [^39]59.910.64.3105.755.052.5
OSX [^39] $\dagger$43.57.53.567.143.338.2
SMPLer-X-B1 $^{*}$45.67.53.463.240.734.2
SMPLer-X-L2044.411.14.577.747.543.2
SMPLer-X-L3235.87.23.254.436.734.0
SMPLer-X-L20 $\dagger$37.97.33.456.538.434.9
除了主要基准测试中的误差外，我们还在表2中报告了SMPLer-X系列模型的推理速度（以FPS即每秒帧数衡量）。测试是在单张V100 GPU上进行的，批量大小为1，且不包括数据加载时间。在相同测试环境下，SMPLer-X系列的速度快于OSX（在单张V100 GPU上可达12.2 FPS），其中较小的版本如SMPLer-X-S和SMPLer-X-B能够实现实时性能，而SMPLer-X-L也接近实时速度。如此高的推理速度得益于SMPLer-X极简的架构，它仅保留了实现EHPS所需的最核心组件。 此外，我们在主要基准测试中展示了身体、手部和面部的详细分项结果，包括AGORA测试集（表3）、AGORA验证集（表4）、UBody（表6）、EgoBody-EgoSet（表7）以及EHF（表5）。我们还将结果与3DPW上的全身建模方法进行了比较（表10）。需要强调的是，基础模型在所有基准测试中都表现出强劲且均衡的性能。 ### 4.3 对专用模型的微调 此外，我们还在另外两个基准测试中对基础模型的迁移能力进行了评估：ARCTIC（表8）和DNA-Rendering（表8）。ARCTIC包含复杂的手物交互场景及全身标注，而DNA-Rendering则涵盖了多样化的主体、动作和服装。需要注意的是，基于前10个数据集训练的基础模型并未见过ARCTIC数据，基于前20个数据集训练的基础模型也未见过DNA-Rendering数据。然而，这些基础模型的表现却远优于采用传统数据采样策略的现有最优方法。 此外，我们在图5的各种场景中将我们的基础模型与现有最优方法进行了比较，如Hand4Whole [^46]和OSX [^39]。这些场景具有诸多挑战性，比如严重的截断现象（从仅能看到半身到仅能看到手臂）、复杂背景下的困难人体姿态，以及罕见的拍摄角度（极高的仰角或俯角）。SMPLer-X凭借海量训练数据的优势，能够始终给出稳健的估计结果。 用大量数据训练基础模型成本高昂。例如，训练SMPLer-X-H20需要超过400个GPU小时。因此，研究能够以低成本将基础模型适配到特定场景的微调策略至关重要。我们重申，在实际应用中测试集是无法获取的。因此，我们采用基准测试策略，选取目标训练集中排名前五的数据集，对模型进行5个周期的微调。我们执行 --- ![Image](images/ba8717797951bfbbbc66454730866f093b9c7459a2367f0691a7d69ac637906e.jpg)
Figure 5: Visualization. We compare SMPLer-X-L32 with OSX [^39] and Hand4Whole [^46] (trained with the MSCOCO, MPII, and Human3.6M) in various scenarios such as those with heavy truncation, hard poses, and rare camera angles.
针对ViT-L进行微调实验，以匹配当前现有最优方法的骨干网络 [^39]。结果展示在与基础模型相同的表格中（表3、4、5、6、7和10），微调总能显著提升基础模型的性能。 ## 5 结论 在这项工作中，我们对EHPS数据集进行了基准测试，这些测试为我们训练和微调基础模型提供了重要参考。我们的工作具有三方面价值：首先，我们预训练好的模型（尤其是其主干网络）可以作为EHPS及其他领域更大系统中的即插即用组件；其次，我们的基准测试有助于评估未来泛化研究的表现；最后，我们的基准测试-微调范式能够帮助任何基础模型快速适配特定场景。具体而言，用户可以先收集训练集，用其评估来自不同数据集的预训练模型，进而选出最相关的数据集来微调基础模型。 局限性：首先，尽管我们使用了五个全面的基准数据集来评估模型的泛化能力，但它们可能仍不足以代表真实世界的数据分布；其次，由于训练基础模型的成本极高，我们的实验未能充分探究不同模型架构所产生的影响。 潜在的负面社会影响：由于我们致力于训练强大的EHPS模型并发布预训练模型，这些模型可能会被用于不正当的监控或侵犯隐私行为。 --- ## 致谢 本研究得到了RIE2020产业对接基金——产业合作项目（IAF-ICP）资助计划的支持，同时也获得了产业合作伙伴提供的现金及实物捐助。该项目还得到了南洋理工大学NAP以及新加坡教育部AcRF二级资助项目（MOET2EP20221-0012）的支持。 ## 参考文献 [^1]: Mykhaylo Andriluka, Umar Iqbal, Eldar Insafutdinov, Leonid Pishchulin, Anton Milan, Juergen Gall, and Bernt Schiele. Posetrack: A benchmark for human pose estimation and tracking. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 5167–5176, 2018. [^2]: Mykhaylo Andriluka, Leonid Pishchulin, Peter Gehler, and Bernt Schiele. 2d human pose estimation: New benchmark and state of the art analysis. In IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 2014. [^3]: Bharat Lal Bhatnagar, Xianghui Xie, Ilya A Petrov, Cristian Sminchisescu, Christian Theobalt, and Gerard Pons-Moll. Behave: Dataset and method for tracking human object interactions. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 15935–15946, 2022. [^4]: Bharat Lal Bhatnagar, Xianghui Xie, Ilya A Petrov, Cristian Sminchisescu, Christian Theobalt, and Gerard Pons-Moll. Behave: Dataset and method for tracking human object interactions. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 15935–15946, 2022. [^5]: Michael J Black, Priyanka Patel, Joachim Tesch, and Jinlong Yang. Bedlam: A synthetic dataset of bodies exhibiting detailed lifelike animated motion. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 8726–8737, 2023. [^6]: Federica Bogo, Angjoo Kanazawa, Christoph Lassner, Peter Gehler, Javier Romero, and Michael J Black. Keep it smpl: Automatic estimation of 3d human pose and shape from a single image. In European conference on computer vision, pages 561–578. Springer, 2016. [^7]: Zhongang Cai, Daxuan Ren, Ailing Zeng, Zhengyu Lin, Tao Yu, Wenjia Wang, Xiangyu Fan, Yang Gao, Yifan Yu, Liang Pan, et al. Human: Multi-modal 4d human dataset for versatile sensing and modeling. In European Conference on Computer Vision, pages 557–577. Springer, 2022. [^8]: Zhongang Cai, Mingyuan Zhang, Jiawei Ren, Chen Wei, Daxuan Ren, Zhengyu Lin, Haiyu Zhao, Lei Yang, Chen Change Loy, and Ziwei Liu. Playing for 3d human recovery. arXiv preprint arXiv:2110.07588, 2021. [^9]: Wei Cheng, Ruixiang Chen, Siming Fan, Wanqi Yin, Keyu Chen, Zhongang Cai, Jingbo Wang, Yang Gao, Zhengming Yu, Zhengyu Lin, et al. Dna-rendering: A diverse neural actor repository for high-fidelity human-centric rendering. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 19982–19993, 2023. [^10]: Vasileios Choutas, Georgios Pavlakos, Timo Bolkart, Dimitrios Tzionas, and Michael J Black. Monocular expressive body regression through body-driven attention. In Computer Vision–ECCV 2020: 16th European Conference, Glasgow, UK, August 23–28, 2020, Proceedings, Part X 16, pages 20–40. Springer, 2020. [^11]: Yuanzheng Ci, Yizhou Wang, Meilin Chen, Shixiang Tang, Lei Bai, Feng Zhu, Rui Zhao, Fengwei Yu, Donglian Qi, and Wanli Ouyang. Unihcp: A unified model for human-centric perceptions. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 17840–17852, 2023. [^12]: MMHuman3D Contributors. Openmmlab 3d human parametric model toolbox and benchmark. , 2021. ## [^13]: Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner, Mostafa Dehghani, Matthias Minderer, Georg Heigold, Sylvain Gelly, Jakob Uszkoreit, and Neil Houlsby. An image is worth 16x16 words: Transformers for image recognition at scale. In ICLR. OpenReview.net, 2021 --- [^14]: Zicong Fan, Omid Taheri, Dimitrios Tzionas, Muhammed Kocabas, Manuel Kaufmann, Michael J Black, and Otmar Hilliges. Arctic: A dataset for dexterous bimanual hand-object manipulation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 12943–12954, 2023. [^15]: Yao Feng, Vasileios Choutas, Timo Bolkart, Dimitrios Tzionas, and Michael J Black. Collaborative regression of expressive bodies using moderation. In 2021 International Conference on 3D Vision (3DV), pages 792–804. IEEE, 2021. [^16]: Mihai Fieraru, Mihai Zanfir, Elisabeta Oneata, Alin-Ionut Popa, Vlad Olaru, and Cristian Sminchisescu. Three-dimensional reconstruction of human interactions. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 7214–7223, 2020. [^17]: Mihai Fieraru, Mihai Zanfir, Elisabeta Oneata, Alin-Ionut Popa, Vlad Olaru, and Cristian Sminchisescu. Learning complex 3d human self-contact. In Proceedings of the AAAI Conference on Artificial Intelligence, volume 35, pages 1343–1351, 2021. [^18]: Mihai Fieraru, Mihai Zanfir, Silviu Cristian Pirlea, Vlad Olaru, and Cristian Sminchisescu. Afit: Automatic 3d human-interpretable feedback models for fitness training. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 9919–9928, 2021. [^19]: Mohamed Hassan, Vasileios Choutas, Dimitrios Tzionas, and Michael J Black. Resolving 3d human pose ambiguities with 3d scene constraints. In Proceedings of the IEEE/CVF international conference on computer vision, pages 2282–2292, 2019. [^20]: Fangzhou Hong, Liang Pan, Zhongang Cai, and Ziwei Liu. Garment4d: Garment reconstruction from point cloud sequences. Advances in Neural Information Processing Systems, 34:27940–27951, 2021. [^21]: Fangzhou Hong, Mingyuan Zhang, Liang Pan, Zhongang Cai, Lei Yang, and Ziwei Liu. Avatarclip: Zero-shot text-driven generation and animation of 3d avatars. ACM Transactions on Graphics (TOG), 41(4):1–19, 2022. [^22]: Chun-Hao P Huang, Hongwei Yi, Markus Höschle, Matvey Safroshkin, Tsvetelina Alexiadis, Senya Polikovsky, Daniel Scharstein, and Michael J Black. Capturing and inferring dense full-body human-scene contact. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 13274–13285, 2022. [^23]: Catalin Ionescu, Dragos Papava, Vlad Olaru, and Cristian Sminchisescu. Human3.6m: Large scale datasets and predictive methods for 3d human sensing in natural environments. IEEE transactions on pattern analysis and machine intelligence, 36(7):1325–1339, 2013. [^24]: Sam Johnson and Mark Everingham. Clustered pose and nonlinear appearance models for human pose estimation. In BMVC, pages 1–11. British Machine Vision Association, 2010. [^25]: Sam Johnson and Mark Everingham. Learning effective human pose estimation from inaccurate annotation. In CVPR 2011, pages 1465–1472. IEEE, 2011. [^26]: Hanbyul Joo, Natalia Neverova, and Andrea Vedaldi. Exemplar fine-tuning for 3d human model fitting towards in-the-wild 3d human pose estimation. In 2021 International Conference on 3D Vision (3DV), pages 42–52. IEEE, 2021. [^27]: Hanbyul Joo, Natalia Neverova, and Andrea Vedaldi. Exemplar fine-tuning for 3d human model fitting towards in-the-wild 3d human pose estimation. 3DV, 2022. [^28]: Angjoo Kanazawa, Michael J Black, David W Jacobs, and Jitendra Malik. End-to-end recovery of human shape and pose. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 7122–7131, 2018. [^29]: Angjoo Kanazawa, Jason Y Zhang, Panna Felsen, and Jitendra Malik. Learning 3d human dynamics from video. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 5614–5623, 2019. [^30]: Muhammed Kocabas, Nikos Athanasiou, and Michael J Black. Vibe: Video inference for human body pose and shape estimation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 5253–5263, 2020. ## [^31]: Muhammed Kocabas, Chun-Hao P Huang, Otmar Hilliges, and Michael J Black. Pare: Part of attention regressor for 3d human body estimation. arXiv preprint arXiv:2104.08527, 2021 --- [^32]: Muhammed Kocabas, Chun-Hao P Huang, Joachim Tesch, Lea Müller, Otmar Hilliges, and Michael J Black. Spec: Seeing people in the wild with an estimated camera. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 11035–11045, 2021. [^33]: Nikos Kolotouros, Georgios Pavlakos, Michael J Black, and Kostas Daniilidis. Learning to reconstruct 3d human pose and shape via model-fitting in the loop. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 2252–2261, 2019. [^34]: Christoph Lassner, Javier Romero, Martin Kiefel, Federica Bogo, Michael J Black, and Peter V Gehler. Unite the people: Closing the loop between 3d and 2d human representations. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 6050–6059, 2017. [^35]: Jiefeng Li, Siyuan Bian, Chao Xu, Zhicun Chen, Lixin Yang, and Cewu Lu. Hybrik-x: Hybrid analytical-neural inverse kinematics for whole-body mesh recovery. arXiv preprint arXiv:2304.05690, 2023. [^36]: Jiefeng Li, Can Wang, Hao Zhu, Yihuan Mao, Hao-Shu Fang, and Cewu Lu. Crowdpose: Efficient crowded scenes pose estimation and a new benchmark. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 10863–10872, 2019. [^37]: Jiefeng Li, Chao Xu, Zhicun Chen, Siyuan Bian, Lixin Yang, and Cewu Lu. Hybrik: A hybrid analytical-neural inverse kinematics solution for 3d human pose and shape estimation. In CVPR, pages 3383–3393. Computer Vision Foundation / IEEE, 2021. [^38]: Zhihao Li, Jianzhuang Liu, Zhensong Zhang, Songcen Xu, and Youliang Yan. Cliff: Carrying location information in full frames into human pose and shape estimation. In European Conference on Computer Vision, pages 590–606. Springer, 2022. [^39]: Jing Lin, Ailing Zeng, Haoqian Wang, Lei Zhang, and Yu Li. One-stage 3d whole-body mesh recovery with component aware transformer. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 21159–21168, 2023. [^40]: Tsung-Yi Lin, Michael Maire, Serge Belongie, James Hays, Pietro Perona, Deva Ramanan, Piotr Dollár, and C Lawrence Zitnick. Microsoft coco: Common objects in context. In European conference on computer vision, pages 740–755. Springer, 2014. [^41]: Qihao Liu, Adam Kortylewski, and Alan L Yuille. Poseexaminer: Automated testing of out-of-distribution robustness in human pose and shape estimation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 672–681, 2023. [^42]: Matthew Loper, Naureen Mahmood, Javier Romero, Gerard Pons-Moll, and Michael J Black. SMPL: A skinned multi-person linear model. ACM transactions on graphics (TOG), 34(6):1–16, 2015. [^43]: Leland McInnes, John Healy, and James Melville. Umap: Uniform manifold approximation and projection for dimension reduction. arXiv preprint arXiv:1802.03426, 2018. [^44]: Dushyant Mehta, Helge Rhodin, Dan Casas, Pascal Fua, Oleksandr Sotnychenko, Weipeng Xu, and Christian Theobalt. Monocular 3d human pose estimation in the wild using improved cnn supervision. In 2017 international conference on 3D vision (3DV), pages 506–516. IEEE, 2017. [^45]: Dushyant Mehta, Oleksandr Sotnychenko, F. Mueller, Weipeng Xu, Srinath Sridhar, Gerard Pons-Moll, and C. Theobalt. Single-shot multi-person 3D pose estimation from monocular rgb. 2018 International Conference on 3D Vision (3DV), pages 120–130, 2018. [^46]: Gyeongsik Moon, Hongsuk Choi, and Kyoung Mu Lee. Accurate 3d hand pose estimation for whole-body 3d human mesh estimation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 2308–2317, 2022. [^47]: Gyeongsik Moon, Hongsuk Choi, and Kyoung Mu Lee. Neuralannot: Neural annotator for 3d human mesh training sets. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 2299–2307, 2022. [^48]: Lea Muller, Ahmed AA Osman, Siyu Tang, Chun-Hao P Huang, and Michael J Black. On self-contact and human pose. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 9990–9999, 2021. ### [^49]: Hui En Pang, Zhongang Cai, Lei Yang, Tianwei Zhang, and Ziwei Liu. Benchmarking and analyzing 3d human pose and shape estimation beyond algorithms. In Thirty-sixth Conference on Neural Information Processing Systems Datasets and Benchmarks Track, 2022 --- [^50]: Priyanka Patel, Chun-Hao P Huang, Joachim Tesch, David T Hoffmann, Shashank Tripathi, and Michael J Black. AGORA: Avatars in geography optimized for regression analysis. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 13468–13478, 2021. [^51]: Georgios Pavlakos, Vasileios Choutas, Nima Ghorbani, Timo Bolkart, Ahmed AA Osman, Dimitrios Tzionas, and Michael J Black. Expressive body capture: 3d hands, face, and body from a single image. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 10975–10985, 2019. [^52]: Yu Rong, Ziwei Liu, Cheng Li, Kaidi Cao, and Chen Change Loy. Delving deep into hybrid annotations for 3d human recovery in the wild. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 5340–5348, 2019. [^53]: Yu Rong, Takaaki Shiratori, and Hanbyul Joo. Frankmocap: A monocular 3d whole-body pose estimation system via regression and integration. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 1749–1759, 2021. [^54]: István Sárándi, Alexander Hermans, and Bastian Leibe. Learning 3d human pose estimation from dozens of datasets using a geometry-aware autoencoder to bridge between skeleton formats. In Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision, pages 2956–2966, 2023. [^55]: Akash Sengupta, Ignas Budvytis, and Roberto Cipolla. Synthetic training for accurate 3d human pose and shape estimation in the wild. In British Machine Vision Conference (BMVC), September 2020. [^56]: Yu Sun, Tianyu Huang, Qian Bao, Wu Liu, Wenpeng Gao, and Yili Fu. Learning monocular mesh recovery of multiple body parts via synthesis. In ICASSP 2022-2022 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), pages 2669–2673. IEEE, 2022. [^57]: Shixiang Tang, Cheng Chen, Qingsong Xie, Meilin Chen, Yizhou Wang, Yuanzheng Ci, Lei Bai, Feng Zhu, Haiyang Yang, Li Yi, et al. Humanbench: Towards general human-centric perception with projector assisted pretraining. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 21970–21982, 2023. [^58]: Timo von Marcard, Roberto Henschel, Michael J Black, Bodo Rosenhahn, and Gerard Pons-Moll. Recovering accurate 3d human pose in the wild using imus and a moving camera. In Proceedings of the European Conference on Computer Vision (ECCV), pages 601–617, 2018. [^59]: Wenjia Wang, Yongtao Ge, Haiyi Mei, Zhongang Cai, Qingping Sun, Yanjun Wang, Chunhua Shen, Lei Yang, and Taku Komura. Zolly: Zoom focal length correctly for perspective-distorted human mesh reconstruction. arXiv preprint arXiv:2303.13796, 2023. [^60]: Yanjun Wang, Qingping Sun, Wenjia Wang, Jun Ling, Zhongang Cai, Rong Xie, and Li Song. Learning dense uv completion for human mesh recovery. arXiv preprint arXiv:2307.11074, 2023. [^61]: Donglai Xiang, Hanbyul Joo, and Yaser Sheikh. Monocular total capture: Posing face, body, and hands in the wild. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 10965–10974, 2019. [^62]: Yufei Xu, Jing Zhang, Qiming Zhang, and Dacheng Tao. Vitpose: Simple vision transformer baselines for human pose estimation. Advances in Neural Information Processing Systems, 35:38571–38584, 2022. [^63]: Zhitao Yang, Zhongang Cai, Haiyi Mei, Shuai Liu, Zhaoxi Chen, Weiye Xiao, Yukun Wei, Zhongfei Qing, Chen Wei, Bo Dai, et al. Synbody: Synthetic dataset with layered human models for 3d human perception and modeling. arXiv preprint arXiv:2303.17368, 2023. [^64]: Hongwei Yi, Hualin Liang, Yifei Liu, Qiong Cao, Yandong Wen, Timo Bolkart, Dacheng Tao, and Michael J Black. Generating holistic 3d human motion from speech. In IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pages 469–480, June 2023. ## [^65]: Hongwen Zhang, Yating Tian, Yuxiang Zhang, Mengcheng Li, Liang An, Zhenan Sun, and Yebin Liu. Pymaf-x: Towards well-aligned full-body model regression from monocular images. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2023 --- [^66]: Mingyuan Zhang, Zhongang Cai, Liang Pan, Fangzhou Hong, Xinying Guo, Lei Yang, and Ziwei Liu. Motiondiffuse: Text-driven human motion generation with diffusion model. arXiv preprint arXiv:2208.15001, 2022. [^67]: Mingyuan Zhang, Xinying Guo, Liang Pan, Zhongang Cai, Fangzhou Hong, Huirong Li, Lei Yang, and Ziwei Liu. Remodiffuse: Retrieval-augmented motion diffusion model. arXiv preprint arXiv:2304.01116, 2023. [^68]: Siwei Zhang, Qianli Ma, Yan Zhang, Zhiyin Qian, Taein Kwon, Marc Pollefeys, Federica Bogo, and Siyu Tang. Egobody: Human body shape and motion of interacting people from head-mounted devices. In Computer Vision–ECCV 2022: 17th European Conference, Tel Aviv, Israel, October 23–27, 2022, Proceedings, Part VI, pages 180–200. Springer, 2022. [^69]: Song-Hai Zhang, Ruilong Li, Xin Dong, Paul Rosin, Zixi Cai, Xi Han, Dingcheng Yang, Haozhi Huang, and Shi-Min Hu. Pose2seg: Detection free human instance segmentation. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 889–898, 2019. ### [^70]: Yuxiao Zhou, Marc Habermann, Ikhsanul Habibie, Ayush Tewari, Christian Theobalt, and Feng Xu. Monocular real-time full body capture with inter-part correlations. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 4811–4822, 2021 --- ![Image](images/f6ca127f9ce560d4ded4a7c36204b55c37cb8fa6eb82d25ddf33a18b024565f9.jpg)
Figure 6: Visualization of dataset images and ground truth annotation. a) 3DPW. b) AGORA. c) ARCTIC. d) BEDLAM.
### A 概述 由于主论文篇幅有限，我们在此补充以下内容：第B节包含了32个数据集的额外细节，包括查找其许可声明的相关链接以及其他伦理问题；第C节介绍了架构、训练和微调阶段的额外细节；第D节则呈现了关于数据集分布、训练方案、微调策略、采样策略以及训练领域的额外实验与分析结果；第E节列出了关键评估基准训练集上各数据集的排名情况，以及基础模型在评估基准上的完整测试结果。 ### B 数据集的额外细节 ## B.1 数据集描述 本节介绍了我们所研究的32个数据集。需要注意的是，这些都是公开的学术数据集，每个数据集都有相应的许可协议。我们遵循常规做法，将其用于非商业性研究，具体关于许可协议及个人信息保护政策等细节，请参阅各数据集的主页或相关论文。 3DPW [^58]（图6a）是首个包含大量数据的野外数据集，数据由移动手机摄像头和IMU传感器采集而成。该数据集具备精确的SMPL标注，共有60段在不同环境中拍摄的视频序列。我们遵循官方规定的训练集、验证集和测试集划分方式。主页：。 AGORA [^50]（图6b）是一个合成数据集，由高质量人体扫描模型和逼真的3D场景渲染而成。它包含4240个带有不同姿态和外观的带纹理人体扫描模型，每个模型都配有精确的SMPL-X标注。其中训练图像有1.4万张，测试图像有3千张，实例总数达17.3万个。主页： ARCTIC [^14]（图6c）是一个基于实验室的手部与物体交互数据集。该数据集包含10名受试者操作11种物体的数据。共有21万帧视频序列，由8台固定摄像头和1台第一人称视角摄像头拍摄而成。每一帧都配有精确的SMPL-X标注。由于第一人称视角的帧仅能捕捉到手部信息，我们在训练时将其排除，最终用于训练的图像数量为15.39万张。主页： BEDLAM [^5]（图6d）是一个合成数据集，涵盖了体型、动作、肤色、头发和服装等多方面的多样性。该数据集通过组合271种不同的身体模型、27种发型和111种服装类型创建而成。数据集包含1691种服装纹理以及2311组人体动作，场景设定在95个HDR场景和8个3D场景中。每个场景通常包含1到10个人物，且提供了多样的摄像机视角。主页： BEHAVE [^4]（图7a）是一个人体与物体交互数据集，包含多视角RGB-D帧、SMPL-H参数、物体拟合数据以及接触信息。BEHAVE数据集在5个地点共收录了约1.5万帧图像，涉及8名受试者与20种常见物体进行的各种交互活动。主页：。 --- ![Image](images/ee61c86a3e27fbd542a5463d3f0d3c85c703a723bb10834992a87c60e0e7bc4d.jpg)
Figure 7: Visualization of dataset images and ground truth annotation. a) BEHAVE. b) EgoBody (EgoSet). c) CrowdPose. d) CHI3D.
CHI3D [^16]（图7d）是一个基于摄影棚的3D动作捕捉数据集（Vicon），涵盖多种交互场景，包含631组多视角序列，其中记录了2,525次接触事件以及728,664个带有SMPL-X参数的3D姿态真实标注实例。我们使用开源的训练集。主页：。 CrowdPose [^36]（图 7c）是一个专注于拥挤场景的野外数据集。它总共包含 20K 张图像和 80K 个人体实例。在本文中，我们使用 NeuralAnnot [^47] 生成的标注，该方法将 SMPL 拟合到 GT 2D 关节，并总共包含 $\sim$35.7K 条标注数据。主页： EgoBody [^68]是一个大规模数据集，涵盖了3D人体动作以及与场景的交互数据。这些数据由用于第三人称视角的多视角摄像系统（MVSet，见图8a）和用于第一人称视角的头戴式设备（EgoSet，见图7b）采集而成。该数据集包含125个序列、36名受试者和15个室内场景。我们遵循官方划分的训练集和测试集标准。主页：。 EHF [^51]（图8b）包含100帧经过精心挑选的图像，展示了一名受试者在室内摄影棚中的动作。它提供了与SMPL-X对齐的3D网格作为真实标注，能够准确反映受试者多样的身体、手部和面部关节活动情况。该数据集通常用作测试集。图像由单个摄像头拍摄而成。它与SMPL-X一同发布。主页：。 FIT3D [^18]（图8c）是一个基于摄影棚的3D动作捕捉数据集，包含611组多视角序列，共计2,964,236张图像，以及相应的3D形状和姿态真实标注，这些标注均带有SMPL-X参数。动作片段包括37种重复练习。我们使用开源的训练集。主页：。 GTA-Human II（图8d）是GTA-Human [^8]的扩展版本。GTA-Human是一个利用GTA-V游戏引擎生成的大规模合成3D单人人体数据集，具有多样性特征。GTA-Human在单人场景中提供了超过140万个SMPL标注。相比之下，GTA-Human II包含多人体场景以及通过SMPLify-X [^51]获得的SMPL-X真值——该工具能从游戏中采集的真值关键点估算出SMPL-X参数。相关工具链由MMHuman3D [^12]提供。扩展版本中包含180万个SMPL-X实例。图像以4K分辨率的多人序列形式采集，涵盖约600名不同体型与着装的人员，他们会在六类不同的背景中完成2万段日常人体活动动作剪辑，且拍摄角度分布符合现实情况。主页：。 Human3.6M [^23]（图9a）是一个基于摄影棚的3D动作捕捉数据集，包含360万个人体姿态及对应的图像，这些图像由高速动作捕捉系统采集而成。在本文中，我们使用了NeuralAnnot [^47]生成的标注数据，该标注将SMPL-X模型拟合到2D真值关节上，总计约有31.22万个标注数据。主页： HumanSC3D [^17]（图9b）是一个基于摄影棚的3D动作捕捉数据集，包含1032个多视角序列，涉及5000次接触事件，以及120万个标注有SMPL-X参数的3D姿态真值实例。我们采用了其开源训练集。主页：。 --- ![Image](images/a31bc8d743884dc41a14170a137d1c337161b9bc23bf4a56b00f89dbd4aec5c4.jpg)
Figure 8: Visualization of dataset images and ground truth annotation. a) EgoBody (MVSet). b) EHF. c) FIT3D. d) GTA-Human.
![Image](images/38b8880523859ec9a96bc5f0aa61412a6268287065cb3bb0c2df9f364f19c72a.jpg)
Figure 9: Visualization of dataset images and ground truth annotation. a) Human3.6M. b) HumanSC3D. c) InstaVariety. d) LSPET.
InstaVariety [^29]（图9c）是一个野外数据集，包含了通过84个标签从Instagram上收集的210万张图像。我们使用了NeuralAnnot [^47]生成的标注数据，该标注将SMPL模型拟合到2D真值关节上，总计约有21.85万个标注数据。主页： LSPET [^24]（图9d）是一个野外数据集，包含1万张图像。在本文中，我们使用了EFT [^27]生成的标注数据，该标注将SMPL模型拟合到2D真值关节上，总计有2946个标注数据。主页：。 MPI-INF-3DHP [^44]（图10a）是在受限室内及复杂室外场景中，利用多摄像头无标记动作捕捉系统采集的数据集。它记录了8名演员在14个摄像视角下进行的8种活动。我们使用了NeuralAnnot [^47]生成的标注数据，该标注将SMPL-X模型拟合到2D真值关节上，总计有939,847个标注数据。主页： MPII [^2]（图10b）是一个应用广泛的野外数据集，收录了约2.5万张内容多样的图像。数据集中的每张图像包含一个或多个人体实例，因此标注的人体实例总数超过4万个。在这4万个样本中，约2.8万个用于训练，其余样本则留作测试之用。我们使用了NeuralAnnot [^47]生成的标注数据，该标注将SMPL-X模型拟合到2D真值关节上，总计约有2.89万个标注数据。主页： MSCOCO [^40]（图10c）是一个大规模的物体检测、分割、关键点检测及描述生成数据集。其中用于关键点检测的子集包含超过20万张图像和25万个人体实例。我们使用了NeuralAnnot [^47]生成的标注数据，该标注将SMPL-X模型拟合到2D真值关节上，总计约有14.98万个标注数据。主页： MTP [^48]（图10d）是一个室内数据集，包含演员模仿不同复杂SMPL-X姿势且存在自接触的图像。该数据集包含来自148名受试者的3.7K张图像，配有伪真实值的SMPL-X参数和2D关键点。其中3.2K张图像用于训练。主页： --- ![Image](images/883f9f943825131de093b37fbc528fd34cce6dac3af4ca221593ffe56f93b7c2.jpg)
Figure 10: Visualization of dataset images and ground truth annotation. a) MPI-INF-3DHP. b) MPII. c) MSCOCO. d) MTP.
![Image](images/2d231acea919606b602e3d8e973174dfc24dc65da8754f0edfcd4018726b4824.jpg)
Figure 11: Visualization of dataset images and ground truth annotation. a) MuCo-3DHP. b) OCHuman. c) PoseTrack. d) PROX.
MuCo-3DHP [^45]（图11a）是一个室内多人数据集，通过裁剪并叠加MPI-INF-3DHP[^44]中的人物并加上分割掩码生成。它包含400K帧，涵盖8名受试者，每名受试者有2套不同服装。拍摄时使用了12个不同的摄像头位置。该数据集提供真实值的3D关键点和拟合的SMPL参数。其中465.3K条标注数据用于训练。主页：。 OCHuman [^69]（图11b）是一个自然场景数据集，专注于严重遮挡的人体。该数据集在4,731张图像中包含8,110个标注详细的人体实例。我们采用了EFT [^27]生成的标注，该方法将SMPL模型拟合到真实2D关节上，共包含2,495条标注数据。主页： PoseTrack [^1]（图11c）是一个用于视频中多人姿态估计与跟踪的大规模基准数据集。它包含514个视频，共计66,374帧。我们采用了EFT [^27]生成的标注，该方法将SMPL模型拟合到真实2D关节上，共包含$\sim$28.5K条标注数据。主页： PROX [^19]（图11d）是一个定性数据集，属于人体-场景交互数据集，展示了12个室内场景以及20名受试者与这些场景互动的情况。它包含100K帧的RGB-D图像，配有伪真实值的SMPL-X拟合结果。训练时仅使用RGB图像，且这些图像会经过水平翻转以匹配SMPL-X标注。其中88.1K个实例用于训练。主页：。 DNA-Rendering [^9]（图12a）是一个大规模基于摄影棚的多视角数据集，包含不同分辨率（主集和高分辨率集），涵盖了多样的运动、服装及物体交互情况。DNA-Rendering包含超过1.5K个人体实例和5K个运动序列，最多支持60个RGB视角和4个Kinect视角。相应的SMPL-X标注基于HuMMan [^7]生成。我们根据不同的摄像头分布和采集分辨率，将60个RGB视角分为48个和12个两组。主页：。 SPEC [^32]（图12c）是一个包含多种独特相机视角的合成数据集。该数据集包含22,191张图像，其中训练集有71,982个带有SMPL参数的真实标注实例，还有3,783张…… --- ![Image](images/63929db2ca5d669e4eb6ec62dedba891d974045a0d52dafdf050db1b3b93ed64.jpg)
Figure 12: Visualization of dataset images and ground truth annotation. a) DNA-Rendering. b) SSP3D. c) SPEC. d) RICH.
![Image](images/a0d4c8737ce726fb23e8475dd85d69cf07aa9d32b77e9f52a6624909df4a53ee.jpg)
Figure 13: Visualization of dataset images and ground truth annotation. a) UBody. b) SynBody. c) UP3D. d) Talkshow.
主页：。 RICH [^22]（图12d）是一个人体-场景接触数据集。它收录了142段单人或多人的多视角视频，记录了22名受试者在5个静态室内或室外场景中活动的情况，拍摄时使用了6-8个固定摄像头。RICH包含丰富的资源，共有90K个带姿态的3D人体网格，每个网格都配有基于SMPL-X和SMPL网格拓扑的密集全身接触标签。我们将原始图像从.png和.bmp格式转换为.jpg格式，并使用训练集（约含243.4K个实例）来训练模型。主页： SSP3D [^55] SSP-3D（图12b）是一个小规模数据集，包含311张穿着紧身运动服的人体图像，涵盖了多种体型与姿势。通过多帧优化并保持形状一致性，得到伪真实值的SMPL人体模型参数。主页：。 SynBody [^63]（图13b）是一个大规模合成数据集，包含大量多样化的受试者以及高精度的标注信息，其中包括带有3D姿态和形状标注的多人图像实例。SynBody涵盖了1万个人体模型、1000种动作以及多种视角。其标注既包括精确的SMPL参数，也包括SMPL-X参数。SynBody还包含分层的人体和衣物模型。在本研究中，我们抽取了约60万个实例组成的数据集。主页：。 Talkshow [^64]（图13d）是一个大规模数据集，收录了4名受试者在4种不同场景下的讲话视频。该数据集包含26.9小时、帧率为30 FPS的视频片段，且音频与拟合的SMPL-X标注同步。视频片段由作者提供，我们将其转换为图像，共计33.27万个实例。主页：。 UBody [^39]（图13b）是一个大规模数据集，涵盖了多种现实场景，可满足各类下游任务需求，例如健身视频、VLOG、电影、在线课程、视频会议、脱口秀以及手语视频等。在这些场景中，通常只能看到受试者的上半身。由于存在严重的截断现象，且重点在于富有表现力的手势和面部表情，因此UBody极具挑战性。主页：。 --- UP3D [^34]（图13c）是一个自然场景数据集，包含7,126张图像。为了获得高质量的3D标注，它基于SMPLify [^6]进行扩展，为每张图像拟合伪标签（SMPL）。主页： ### C 基础模型的额外细节 ### C.1 架构 SMPLer-X采用了极简的设计。在输入主干网络之前，图像会先通过全身边界框进行裁剪，并调整大小为I，其高和宽分别为512和384。随后图像被分割成$32 \times 24$个大小为16的块，经过块嵌入处理，并加入位置编码以得到图像标记$T_{img}$。$T_{task}$是额外的可学习标记（任务标记），它们会与$T_{img}$拼接在一起。这些标记会被送入主干网络（记为ViT）进行处理。借助ViT的可扩展性 [^13]，我们能够尝试不同的模型尺寸。在后续处理中，处理后的图像标记$T_{img}'$用于预测面部和手部边界框。预测的边界框会被用在ROI（感兴趣区域）模块中，从$T_{img}'$中提取特征，这些特征经重组后再通过转置卷积（反卷积）处理，最终送入面部和手部头网络。身体头网络则同时接收$T_{img}'$（图中未示出）和$T_{task}'$。手部与身体头网络包含一个用于预测3D关键点的位置模块，以及一个用于预测参数的回归模块；而对于面部头网络，我们遵循OSX [^39]的做法，仅采用回归模块。需要强调的是，训练基础模型的成本极高，因此本研究并未开展大规模的架构搜索。我们将SMPLer-X作为一个包含核心组件的简单基线，这些组件（如主干网络）可直接用于未来的研究。此外，本研究中的数据选择策略很可能也适用于其他任何架构。 ### C.2 训练细节 训练在16块V100 GPU上进行，总批次大小为512（ViT-Huge为256），共训练10个epoch。具体而言，SMPLer-X-L20的训练时间超过400 GPU小时，SMPLer-X-H32的训练时间超过700 GPU小时。训练和微调阶段均采用Adam优化器，并采用余弦退火策略。训练阶段的学习率为$1 \times 10^{-5}$，最小学习率设为$1 \times 10^{-6}$；微调阶段的学习率同样为$1 \times 10^{-5}$，最小学习率设为$5 \times 10^{-7}$。 ### C.3 SMPL/SMPL-X标注的适配 尽管我们力求在研究中利用尽可能多的数据集，但我们发现仅有少数数据集包含中性的SMPL-X标注，而许多数据集包含男性/女性（有性别区分的）SMPL-X标注或SMPL标注。直观的解决方案是使用官方拟合工具[^51]，但这种基于优化的工具转换大量标注的速度相对较慢（每帧拟合时间为$241 \pm 126$秒）。因此，我们尝试了一种新方法。 对于有性别区分的SMPL-X标注，我们训练了一个小型适配器网络A（由三层全连接层组成），它接收有性别区分的身体形状参数$\beta_{f/m}$，并将其转换为中性身体形状参数，从而使下述损失最小化： $$ \mathcal{L}=||M_{f/m}(\theta,\beta_{f/m})-M_{n}(\theta,A(\beta_{f/m})||_{2} $$ 其中 $M_{f/m}$ 是带性别的 SMPL-X 身体模型，$M_{n}$ 是中性 SMPL-X 身体模型，$\theta$ 的身体姿态通过在 VPoser [^51] 的嵌入空间中随机采样获得。我们在 AGORA [^50] 上测试我们的适配器，发现真实性别化 SMPL-X 网格与采用适配后中性 $\beta$ 的中性 SMPL-X 之间的顶点到顶点误差为 8.4 mm，我们认为这已足够小。该方法速度非常快（每帧 0.09 秒）。因此，我们将适配器应用于 AGORA、EgoBody、DNA-Rendering 和 RICH。 然而，我们通过实验发现，该适配器在不同拓扑结构之间（即SMPL和SMPL-X）的表现并不理想，训练类似的适配器会导致27.1毫米的顶点间误差。因此，对于包含SMPL标注的数据集，我们仅对真实的全局朝向和身体姿态进行监督。尽管这算是对参数的一种“滥用”（SMPL和SMPL-X参数无法直接相互转换），但我们的实验表明这种策略能够带来性能提升。 --- ![Image](images/8b3785255e5cf4f4995840ca47b8e58337f5e58a36fb0d68f70423f44cf723dd.jpg)
Figure 14: Comparisons of hand pose, shape beta, and facial expression parameters distributions among different datasets. We illustrate these distributions with UMAP [^43]. The two axes are the two dimensions of the embedded space and have no unit.
Table 11: Training schemes. We study the different training schemes by comparing the model trained with the Top 5 / Top 10 datasets with the Bottom 5 / Bottom 10 datasets according to our individual dataset benchmark rankings.
MethodDataset#InstanceMPE(mm)
SMPLer-X-BTop50.75M103.47
SMPLer-X-BBottom50.75M115.61
SMPLer-X-BTop101.5M89.20
SMPLer-X-BBottom101.5M115.10
### D 额外的实验与分析 ## D.1 更多分布对比 在图14中，我们绘制了更多参数的分布：a) 手部姿态，b) beta值（身体形状），c) 面部表情，均通过UMAP降维展示。没有合适SMPL-X参数的数据集（例如仅有SMPL标注，或伪标注且通常包含无效手部姿态的数据集）未被纳入研究。对于手部姿态，我们将左右手参数以旋转矩阵形式拼接起来；对于beta值和表情，我们直接使用它们的前10个分量。观察发现，DNA-Rendering、CHI3D、HumanSC3D和Talkshow等数据集在手部姿态和beta值方面形成了明显的聚类，很难找到能覆盖广泛范围的数据集。在面部表情方面，仍缺乏多样性充足的数据集。 ### D.2 训练方案 如表11所示，我们对训练方案进行了消融研究。我们探讨了数据集选择的影响。根据各数据集的基准排名，我们选取了排名靠后的5个和10个数据集，并使用与训练顶级5个和顶级10个数据集时相同数量的样本来训练SMPLer-X-B模型。 结果证明我们的训练方案是高效的。根据单数据集基准排名选取顶级5个或顶级10个数据集，其性能明显优于选取排名靠后的5个或10个数据集。基础模型从加入排名更高（即顶级5/10）的数据中受益，而排名较低的数据（即排名靠后的5/10）对提升模型性能的效果则较差。尽管如此，我们在所有其他微调实验中仍会对整个网络进行微调。 ### D.3 微调策略 在表12中，我们评估了用于微调基础模型不同部分的不同策略。我们发现仅微调颈部和头部非常高效：其性能甚至略好一些。 ---
Table 12: Finetuning strategies. We study the different finetuning strategies by freezing the parameters in different parts of the network. Models are tested on UBody test set, and $\dagger$ denotes the models that are finetuned on UBody train set.
MethodFinetunePA-PVE (mm)PVE (mm)
#Param.AllHandsFaceAllHands
SMPLer-X-H32-662M29.99.82.654.536.4
SMPLer-X-H32 $^{\dagger}$Full network662M27.89.02.351.332.6
SMPLer-X-H32 $^{\dagger}$Neck+Head31M27.89.02.351.132.5
SMPLer-X-H32 $^{\dagger}$Head5M29.99.72.654.235.9
Table 13: Data sampling strategies. We trained SMPLer-X-H32 models with different data sampling strategies.
MethodStrategy#InstanceMPE(mm)
SMPLer-X-H32balanced4.5M63.08
SMPLer-X-H32weighted4.5M62.12
SMPLer-X-H32concat5.6M63.32
这种策略的性能甚至优于微调整个网络，且可学习参数更少。我们推测，在用大量数据集训练后，主干网络已经具备很强的泛化能力，因此微调主干网络并不会带来显著的性能提升。 ### D.4 数据采样策略 关于采样策略，我们对三种不同策略进行了消融研究：1）平衡采样：我们让所有数据集的长度保持一致；2）加权采样：我们根据各数据集的基准排名设定数据集长度。具体来说，我们先根据排名对数据集排序，然后为每个数据集分配权重。通过这种加权方式，数据集会被上采样或下采样，从而使数据集长度呈等差数列。排名最高的数据集长度是排名最低数据集长度的4倍，且所有数据集的总长度是固定的；3）拼接采样：我们直接将所有数据集按其原始长度进行拼接。 如表13所示，基础模型的性能对采样策略不敏感。虽然平衡采样更直观、易于实现且效率高，但加权采样在调整权重方面还有更大的潜力。
Table 14: Impact of training domains. We investigate the impact of seeing the train split of a benchmark dataset during training and how this may affect the generalizability of a model. MPE: mean primary error of AGORA-val, EgoBody-EgoSet, UBody, 3DPW, and EHF. The yellow shaded numbers denote that the corresponding train split is used in training. Top-1 values are bolded, and the second best values are underlined. Except for 3DPW using MPJPE as the metric, other datasets are evaluated via PVE. Unit: mm. #Data.: number of datasets used in the training. #Seen: number of evaluation benchmarks' used in the training, note here that only benchmarks that are included in the MPE computation are counted, thus excluding ARCTIC and DNA-Rendering-HiRes. *: not following the standard dataset selection scheme.
#Data.#SeenModelMPEAGORA [^50]EgoBody [^68]UBody [^39]3DPW [^58]EHF [^55]ARCTIC [^14]DNA-R-HiRes [^9]
51SMPLer-X-L5100.889.1101.6114.0102.896.799.890.6
54SMPLer-X-L $^{*}$85.296.781.968.195.583.6103.698.2
102SMPLer-X-L1080.682.669.7104.082.564.076.976.2
104SMPLer-X-L $^{*}$72.784.071.662.881.763.480.875.8
204SMPLer-X-L2070.580.766.661.578.365.452.277.7
324SMPLer-X-L3266.274.262.257.375.262.348.654.4
---
Table 15: AGORA Val set. † denotes methods that are finetuned on the AGORA training set.
MethodPA-PVE $\downarrow$ (mm)PVE $\downarrow$ (mm)
AllHandsFaceAllHandsFace
Hand4Whole [^46] $\dagger$73.29.74.7183.972.881.6
OSX [^39] $^{{*}}$45.08.53.979.648.237.9
SMPLer-X-S572.110.25.1119.066.858.9
SMPLer-X-S1067.510.24.8116.065.257.5
SMPLer-X-S2062.110.04.4109.263.355.2
SMPLer-X-S3258.79.84.2105.261.953.9
SMPLer-X-B563.89.64.8102.759.050.8
SMPLer-X-B1058.49.54.697.857.849.1
SMPLer-X-B2056.99.34.395.656.547.9
SMPLer-X-B3252.09.24.188.054.545.9
SMPLer-X-L556.19.24.388.353.043.3
SMPLer-X-L1050.69.14.182.651.942.3
SMPLer-X-L2048.68.94.080.751.041.3
SMPLer-X-L3245.18.73.874.247.838.7
SMPLer-X-H557.89.14.289.052.642.6
SMPLer-X-H1051.09.04.081.451.440.5
SMPLer-X-H2047.18.83.977.549.539.4
SMPLer-X-H3242.98.53.769.545.635.9
SMPLer-X-H32 $\dagger$41.08.23.765.443.834.0
Table 16: EHF. As EHF does not have a training set, we do not perform finetuning.
MethodPA-PVE $\downarrow$ (mm)PVE $\downarrow$ (mm)
AllHandsFaceAllHandsFace
Hand4Whole [^46]50.310.85.876.839.826.1
OSX [^39]48.715.96.070.853.726.4
SMPLer-X-S570.716.05.9100.564.027.1
SMPLer-X-S1060.516.05.789.959.122.3
SMPLer-X-S2051.015.55.586.654.722.1
SMPLer-X-S3250.514.85.274.154.620.0
SMPLer-X-B561.415.45.896.158.427.1
SMPLer-X-B1046.715.75.674.755.121.3
SMPLer-X-B2041.915.95.373.053.720.8
SMPLer-X-B3240.714.55.267.352.120.6
SMPLer-X-L553.914.75.989.557.829.9
SMPLer-X-L1040.715.65.364.052.918.1
SMPLer-X-L2037.815.05.165.449.417.4
SMPLer-X-L3237.114.15.062.447.117.0
SMPLer-X-H547.014.35.968.355.625.0
SMPLer-X-H1040.115.65.256.650.218.9
SMPLer-X-H2039.014.45.059.447.117.8
SMPLer-X-H3239.014.85.056.842.219.0
### D.5 训练域 在表14中，我们进一步研究了训练域的影响。显然，域内训练（包括用某数据集的训练集进行训练，并在该数据集的测试集上测试）效果极佳，因为“接触”该数据集总能带来显著的性能提升。不过我们要强调的是，训练集中包含域外训练集也同样效果显著：在固定4个已见数据集的情况下，SMPLer-X在训练时使用10个、20个乃至32个数据集时，MPE指标均有大幅提升。值得注意的是，使用大量数据集训练尤其能提升域外（“未见”）基准测试的性能，因为随着训练集数据集数量的增加，EHF、ARCTIC和DNA-Rendering-HiRes上的误差都会减小。最后，使用32个数据集训练的SMPLer-X-L取得了66.2毫米MPE的最佳性能，是一款强大且有效的SMPL-X估计器。 ## E 完整结果 ### E.1 训练集上EHPS数据集的基准测试 在主论文中，我们针对关键的EHPS评估基准的测试集对各个数据集进行了基准测试。然而，这种数据集基准测试并不适合用于挑选用于训练EHPS的优质数据集，因为其排名结果会在一定程度上泄露有关测试集的信息。因此，我们构建了一个新基准，在表22中根据AGORA、UBody、EgoBody和3DPW的训练集对EHPS数据集进行排名（由于EHF没有训练集，故未纳入排名）。 ### E.2 基础模型在各评估基准上的完整结果 我们展示了完整的结果，包括我们性能最强的基础模型SMPLer-X-H32在AGORA验证集（表15）、UBody（表17）、EgoBody-EgoSet（表18）、EHF（表16）、ARCTIC（表19）以及DNA-Rendering-HiRes（表20）上的表现。 ---
Table 17: UBody. † denotes the methods that are finetuned on the UBody training set.
MethodPA-PVE $\downarrow$ (mm)PVE $\downarrow$ (mm)
AllHandsFaceAllHandsFace
Hand4Whole [^46]42.28.33.195.739.031.2
OSX [^39] $\dagger$42.28.62.081.941.521.2
SMPLer-X-S553.911.83.9110.159.434.5
SMPLer-X-S1050.411.53.7107.757.432.8
SMPLer-X-S2037.511.13.270.749.626.1
SMPLer-X-S3236.410.73.068.147.825.0
SMPLer-X-B552.311.93.8105.856.932.6
SMPLer-X-B1049.712.03.6107.357.131.7
SMPLer-X-B2035.511.03.065.346.923.4
SMPLer-X-B3233.710.82.863.343.922.7
SMPLer-X-L551.812.53.6110.856.337.5
SMPLer-X-L1048.012.83.5104.056.132.0
SMPLer-X-L2033.210.62.861.543.323.1
SMPLer-X-L3230.910.22.757.339.221.6
SMPLer-X-H548.112.13.7102.153.333.4
SMPLer-X-H1048.512.63.5100.754.830.9
SMPLer-X-H2032.810.32.859.941.022.7
SMPLer-X-H3229.99.82.654.536.420.6
SMPLer-X-H32 $\dagger$27.89.02.351.332.619.1
MethodPA-PVE $\downarrow$ (mm)PVE $\downarrow$ (mm)
AllHandsFaceAllHandsFace
Hand4Whole [^46]58.89.73.7121.950.042.5
OSX [^39] $^{\dagger}$45.310.03.082.346.835.2
SMPLer-X-S562.810.84.1114.253.344.3
SMPLer-X-S1052.210.03.488.648.637.6
SMPLer-X-S2048.110.03.384.347.237.8
SMPLer-X-S3246.010.03.182.546.036.2
SMPLer-X-B559.410.64.0108.148.040.0
SMPLer-X-B1045.310.13.276.445.532.4
SMPLer-X-B2043.89.93.275.544.632.7
SMPLer-X-B3240.79.93.172.743.732.4
SMPLer-X-L552.910.53.898.745.239.1
SMPLer-X-L1040.510.03.069.743.132.0
SMPLer-X-L2038.99.93.066.642.731.8
SMPLer-X-L3236.39.82.962.241.430.7
SMPLer-X-H548.010.53.487.443.537.5
SMPLer-X-H1038.810.02.965.742.631.1
SMPLer-X-H2036.79.82.963.541.330.8
SMPLer-X-H3234.39.82.759.539.628.7
SMPLer-X-H32 $^{\dagger}$33.910.02.557.040.227.1
Table 18: EgoBody-EgoSet. † are finetuned on the EgoBody-EgoSet training set.
Table 19: ARCTIC. † denotes the methods that are finetuned on the ARCTIC training set.
MethodPA-PVE $\downarrow$ (mm)PVE $\downarrow$ (mm)
AllHandsFaceAllHandsFace
Hand4Whole [^46]63.418.14.0136.854.859.2
OSX [^39] $\downarrow$33.018.83.358.439.430.4
SMPLer-X-S566.116.74.0117.358.746.5
SMPLer-X-S1058.817.53.2104.656.641.1
SMPLer-X-S2037.618.92.758.745.230.5
SMPLer-X-S3234.518.92.755.342.928.9
SMPLer-X-B566.316.93.4105.455.641.4
SMPLer-X-B1054.017.92.585.253.435.0
SMPLer-X-B2034.918.92.756.340.929.6
SMPLer-X-B3231.919.02.852.640.127.4
SMPLer-X-L557.217.02.995.152.837.7
SMPLer-X-L1046.918.12.376.950.833.2
SMPLer-X-L2031.918.92.552.239.327.0
SMPLer-X-L3229.418.92.748.638.826.8
SMPLer-X-H549.317.42.579.949.333.9
SMPLer-X-H1041.418.82.171.649.330.9
SMPLer-X-H2029.318.92.548.538.326.3
SMPLer-X-H3227.618.72.644.636.924.6
SMPLer-X-H32 $\dagger$27.718.82.644.737.024.7
Table 20: DNA-Rendering-HiRes. † are fine-tuned on the DNA-Rendering-HiRes training set.
MethodPA-PVE $\downarrow$ (mm)PVE $\downarrow$ (mm)
AllHandsFaceAllHandsFace
Hand4Whole [^46]62.811.04.2111.456.452.6
OSX [^39] $\downarrow$43.57.53.567.143.338.2
SMPLer-X-S570.910.44.7104.957.649.7
SMPLer-X-S1063.911.04.498.457.047.3
SMPLer-X-S2055.610.24.487.353.346.2
SMPLer-X-S3247.17.73.570.146.939.0
SMPLer-X-B559.910.54.391.150.544.6
SMPLer-X-B1053.311.54.183.750.942.4
SMPLer-X-B2050.711.74.283.350.943.5
SMPLer-X-B3240.97.43.461.940.536.6
SMPLer-X-L552.410.34.085.947.644.5
SMPLer-X-L1047.011.23.876.247.841.7
SMPLer-X-L2044.411.14.577.747.543.2
SMPLer-X-L3235.87.23.254.436.734.0
SMPLer-X-H553.910.33.981.946.340.7
SMPLer-X-H1047.410.93.776.247.039.0
SMPLer-X-H2043.011.23.872.845.640.5
SMPLer-X-H3234.07.13.151.434.532.0
SMPLer-X-H32 $\uparrow$32.77.13.149.833.230.8
---
Table 21: 3DPW. †denotes the models that are finetuned on the 3DPW training set. Only whole-body (SMPL-X) methods are listed. Unit: mm.
MethodMPJPEPA-MPJPE
Hand4Whole [^46]86.654.4
OSX [^39] $^{\dagger}$86.260.6
SMPLer-X-S5110.279.1
SMPLer-X-S1097.469.0
SMPLer-X-S2087.460.0
SMPLer-X-S3283.257.1
SMPLer-X-B5104.872.0
SMPLer-X-B1089.962.7
SMPLer-X-B2083.557.6
SMPLer-X-B3280.353.4
SMPLer-X-L597.862.6
SMPLer-X-L1082.556.0
SMPLer-X-L2078.352.1
SMPLer-X-L3275.250.5
SMPLer-X-H588.360.3
SMPLer-X-H1078.754.8
SMPLer-X-H2074.450.9
SMPLer-X-H3275.050.6
SMPLer-X-H32 $^{\dagger}$71.748.0
Table 22: Selection of training datasets by ranking on the training set of key benchmarks. For each dataset, we evaluate a model trained on the training set and on the training sets of four major benchmarks: AGORA, UBody, EgoBody (EgoSet), and 3DPW. Datasets are then ranked by MPE. ★: ranking on MPE. Top 1 values on each benchmark are bolded, and the rest of Top-5 are underlined.
DatasetMPE $\downarrow$AGORA [^50] $\downarrow$UBody [^39] $\downarrow$EgoBody [^68] $\downarrow$3DPW [^58] $\downarrow$
BEDLAM [^5]124.7167.8126.7106.398.1
AGORA [^50]129.9131.7124.4134.2131.2
GTA-Human [^8]135.1164.2137.6135.2103.5
SynBody [^63]138.6172.3146.0129.7106.3
InstaVariety [^29]139.6198.2128.4131.6100.6
MSCOCO [^40]139.7196.8110.4130.5121.1
SPEC [^32]150.0166.2138.8155.4139.7
EgoBody-MVSet [^68]151.8193.3194.7119.799.3
MPII [^2]152.0205.5127.3143.3131.9
RICH [^22]155.7198.9171.8136.9115.2
Egobody-EgoSet [^68]157.1213.6123.563.6134.1
CrowdPose [^36]162.3213.0133.7146.2156.3
MuCo-3DHP [^45]163.4193.2189.7151.1119.7
UBody [^39]166.6212.961.5137.6149.2
PROX [^19]167.3205.1186.8145.2132.1
MPI-INF-3DHP [^44]167.5221.3167.4150.0131.4
PoseTrack [^1]177.0219.2165.4173.2150.2
BEHAVE [^3]179.0204.8212.3167.2131.8
HumanSC3D [^17]184.8213.8237.7174.8112.9
CHI3D [^16]192.3209.2256.7180.7122.5
Human3.6M [^23]207.4224.5282.4210.7112.1
DNA-R.-HiRes [^9]207.5231.1275.4189.4134.0
ARCTIC [^14]222.5303.6205.9177.3203.2
Talkshow [^64]225.3290.0132.2188.1290.8
UP3D [^34]226.0257.4226.8208.4211.6
3DPW [^58]230.6231.3266.0194.5140.6
DNA-Rendering [^9]253.2288.7342.5234.4147.2
MTP [^48]270.5272.8284.8259.2265.4
FIT3D [^18]272.9323.5392.8242.7132.5
OCHuman [^69]282.3307.7266.7261.5293.4
LSPET [^25]330.2361.6301.8317.3340.2
SSP3D [^55]512.0545.9533.4529.7439.1