# Sapiens：人类视觉模型的基础 Rawal Khirodkar $^{✉}$、Timur Bagautdinov、Julieta Martinez、Su Zhaoen、Austin James、Peter Selednik、Stuart Anderson和Shunsuke Saito Codec Avatars Lab，Meta，美国门洛帕克摘要。我们提出了Sapiens，这是一个针对四类核心人体视觉任务的模型系列——2D姿态估计、身体部位分割、深度估计和表面法线预测。我们的模型原生支持1K高分辨率推理，只需对基于超过3亿张自然场景中的人体图像预训练的基础模型进行微调，就能轻松适配各类任务。我们发现，在相同的计算预算下，针对精心筛选的人体图像数据集进行自监督预训练，能显著提升各类人体相关任务的性能。即便标注数据稀缺或为完全合成数据，所得到的模型对自然场景数据的泛化能力也极为出色。我们简洁的模型设计还具备可扩展性——随着参数数量从0.3亿增加到20亿，模型在各类任务上的性能也会显著提升。Sapiens在各种人体相关基准测试中始终优于现有的复杂基线模型。具体而言，在Humans-5K（姿态估计）任务上，我们的模型较之前的最佳水平提升了7.6 mAP；在Humans-2K（部位分割）任务上提升了17.1 mIoU；在Hi4D（深度估计）任务上相对RMSE降低了22.4%；在THuman2（法线预测）任务上相对角度误差降低了53.5%。 “Sapiens——意为与现代人类相关的或类似现代人类的。” 关键词：以人为中心 · 大规模预训练 · 自然场景 ## 1 引言近年来，生成2D [^17] [^28] [^50] [^118] 和3D [^69] [^89] [^102] [^109] 照片级真实感人体图像取得了显著进展。这些方法的成功很大程度上得益于对各类人体相关特征的精准估计，比如2D关键点 [^14] [^67]、细粒度身体部位分割 [^119]、深度 [^113] 以及表面法线 [^89] [^108]。不过，对这些特征的鲁棒且精准的估计仍是一个活跃的研究领域，而且为提升单个任务性能而设计的复杂系统往往会阻碍其广泛应用。此外，获取自然场景中精准的真实标注数据极难规模化。我们的目标是提供一个统一的框架和模型，能够在自然场景中推断这些特征，从而为所有人解锁广泛的应用于人体相关的场景。 --- ![Image](images/18a1cdd6bce2f838a84a8da770c5cae56b4576bbd398faf52c45fb9a3efbbda5.jpg)

Fig. 1. Sapiens models are finetuned for four human tasks - 2D pose estimation, body-part segmentation, depth prediction and normal prediction. Our models generalize across a variety of in-the-wild face, upper-body, full-body and multi-person images.

我们认为，这类人体相关模型应满足三个标准：泛化能力、广泛的适用性以及高保真度。泛化能力确保模型对未知条件的鲁棒性，使其能在不同环境中稳定运行；广泛的适用性意味着模型的通用性强，仅需少量修改即可适配各类任务；高保真度则指模型能生成精确、高分辨率的输出，这对于2D到3D的人体生成等任务至关重要。本文详细介绍了具备这些特性的模型开发过程，这些模型被统称为Sapiens。根据[^34]、[^79]和[^91]的研究结果，利用大规模数据集和可扩展的模型架构是实现泛化能力的关键。为了扩大应用范围，我们采用了预训练后再微调的策略，从而能够以最小的调整将模型适配到特定任务中。这一策略引出了一个关键问题：哪种类型的数据对预训练最为有效？考虑到计算资源的限制，我们是应该着重收集尽可能多的人体图像，还是选择用经过较少筛选的数据集进行预训练，以更好地反映现实世界的多样性呢？ --- 鉴于计算限制，我们是应该着重收集尽可能多的人体图像，还是选择用经过较少筛选的数据集进行预训练，以更好地反映现实世界的多样性呢？现有方法往往忽视了预训练数据分布在下游任务中的影响。为了研究预训练数据分布对人体相关任务的影响，我们收集了Humans-300M数据集，其中包含3亿张多样化的人体图像。这些无标签图像被用于从头开始预训练一系列视觉Transformer模型[^27]，其参数数量从3亿到20亿不等。在从大型数据集中学习通用视觉特征的各种自监督方法中[^5]、[^19]、[^34]、[^45]、[^46]、[^121]，我们选择了掩码自编码器（MAE）方法[^45]，因为它在预训练方面具有简单且高效的特点。与对比学习或多次推理策略相比，MAE采用单次推理模型，因此能够在相同的计算资源下处理更多图像。为了获得更高的保真度，与以往的方法不同，我们将预训练的原始输入分辨率提高到了1024像素，这使得FLOPs相比现有的最大视觉骨干网络$\sim4\times$增加了[^91]。每个模型都使用1.2万亿个词元进行预训练。表1列出了与以往方法的对比情况。为了在人体相关任务上进行微调[^15]、[^101]、[^113]、[^119]，我们采用了统一的编码器-解码器架构。编码器初始化时使用预训练得到的权重，而解码器则是一个轻量级且针对特定任务的头部，初始化时为随机权重。随后，这两个组件会以端到端的方式进行微调。正如图1所示，我们重点关注四项关键任务：二维姿态估计、身体部位分割、深度估计和法向估计。与先前研究 [^56] [^122] 一致，我们确认标注质量对模型在真实场景中的性能具有关键影响。公开基准 [^23] [^41] [^55] 通常包含噪声标签，在模型微调期间提供不一致的监督信号。同时，重要的是利用细粒度且精确的标注，以紧密契合我们 3D 人体数字化的主要目标。为此，我们提出了一套密度显著更高的 2D 全身关键点用于姿态估计，并提出了用于身体部位分割的详细类别词汇表，其范围超越以往数据集（请参见 Fig. 1）。具体而言，我们引入了一个涵盖身体、手、脚、体表和面部的 308 个关键点的综合集合。此外，我们将分割类别词汇表扩展到 28 个类别，覆盖头发、舌头、牙齿、上/下唇和躯干等身体部位。为保证标注的质量和一致性以及高度的自动化，我们利用多视角采集设置来收集姿态和分割标注。我们还利用以人为中心的合成数据进行深度和法线估计，借助来自 RenderPeople [^82] 的 600 个精细扫描生成高分辨率深度图和表面法线。我们证明，领域特定的大规模预训练与少量但高质量的标注数据相结合，能够实现强大的野外场景泛化能力。总体而言，我们的方法为开发高精度判别模型提供了一种有效策略，这些模型能够在现实场景中发挥作用，而无需收集成本高昂且种类繁多的标注数据。 ---

Table 1. Comparison of state-of-the-art pretrained vision models. Sapiens adopts a higher resolution backbone on a large dataset of in-the-wild human images.

Method	Dataset	#Params	GFLOPs	Image size	Domain
DINO [^16]	ImageNet1k	86 M	17.6	224	General
iBOT [^121]	ImageNet21k	307 M	61.6	224	General
DINOv2 [^79]	LVD-142M	1 B	291.0	224	General
ViT-6.5B [^91]	IG-3B	6.5 B	1657.0	224	General
AIM [^34]	DFN-2B	6.5 B	1657.0	224	General
Sapiens (Ours)	Humans-300M	2 B	8709.0	1024	Human

我们的贡献总结如下。我们推出了Sapiens，这是一系列基于大规模、经过精心筛选的多样化人体图像数据集预训练的视觉Transformer模型。 – 本研究表明，简单的数据整理和大规模预训练能够在相同的计算资源下显著提升模型性能。我们的模型在经过高质量标注数据甚至合成数据微调后，展现出强大的野外场景泛化能力。这是首款原生支持高保真推理的千兆像素分辨率模型，专为以人为中心的任务设计，在2D姿态估计、人体部位分割、深度及法向估计等基准测试中均取得了顶尖性能。 ## 2 相关工作我们的研究探索了利用大量野外人体图像训练大型架构的极限。我们借鉴了不同领域的先前研究成果：大规模预训练、人体视觉任务以及大型视觉Transformer。大规模预训练。大规模预训练[^26] [^95] 随后针对语言建模任务进行特定微调[^2] [^13] [^53] [^96] [^99] [^100] 的成功实践，已使这种方法成为行业标准。同样，计算机视觉方法[^1] [^4] [^33] [^34] [^42] [^79] [^83] [^85] [^87] [^120] 也逐步采用大规模数据进行预训练。LAION-5B[^90]、Instagram-3.5B[^77]、JFT-300M[^92]、LVD-142M[^79]、Visual Genome[^60]以及YFCC100M[^97]等大型数据集的出现，使得研究人员能够探索远超传统基准测试范围的数据集[^61] [^67] [^86]。该领域的代表性成果包括DINOv2[^79]、MAWS[^91]和AIM[^34]。DINOv2通过在LDV-142M数据集上扩展对比学习iBot[^121]方法，在生成自监督特征方面取得了顶尖性能[^79]。MAWS[^91]研究了掩码自编码器（MAE）[^45]在十亿级图像上的扩展应用。AIM[^34]则探索了类似BERT[^26]的自回归视觉预训练在视觉Transformer[^27]中的可扩展性。与这些主要侧重于通用图像预训练或零样本图像分类的方法不同， --- 我们采取了截然不同的人为中心的研究路径：我们的模型利用海量人体图像进行预训练，随后针对各类与人相关的任务进行微调。人体视觉任务。大规模三维人体数字化[^8] [^44] [^64] [^74]一直是计算机视觉领域的重要目标[^12]。在受控或实验室环境中已取得显著进展[^3] [^59] [^63] [^69] [^70] [^76] [^89]，但将这些方法扩展到无约束环境时仍面临挑战[^29]。为应对这些挑战，开发能够执行多种基础任务的多功能模型至关重要，例如关键点估计[^21] [^36] [^47] [^51] [^57] [^78] [^80] [^93] [^106]、人体部位分割[^35] [^40] [^41] [^75] [^104] [^105]、深度估计[^9] [^10] [^32] [^43] [^52] [^66] [^84] [^113]以及表面法向预测[^6] [^7] [^31] [^39] [^62] [^88] [^101] [^108]，这些任务需从自然场景的图像中完成。在本研究中，我们旨在开发适用于野外环境的这些关键人体视觉任务模型。架构扩展。目前，公开可获取的最大语言模型参数规模超过1000亿[^49]，而常用的语言模型[^94] [^100]参数规模约为70亿。相比之下，尽管视觉Transformer（ViT）[^27]与它们架构相似，却未能成功扩展到同等规模。虽然已有一些值得关注的尝试，比如开发出在文本和图像上训练的密集型ViT-4B模型[^20]，以及提出稳定训练ViT-22B模型的技术[^25]，但常用的视觉骨干网络参数规模仍介于3亿到6亿之间[^24] [^38] [^48] [^68]，且主要在约224像素的图像分辨率下预训练。同样，现有的基于Transformer的图像生成模型（如DiT[^81]）参数规模不足7亿，且运行在高度压缩的潜空间内。为填补这一差距，我们推出了Sapiens——一系列大型高分辨率ViT模型，它们在数百万张人体图像上以1024像素的图像分辨率进行原生预训练。 ## 3 方法 ### 3.1 Humans-300M数据集我们采用一个大型专有数据集进行预训练，该数据集包含约10亿张野外图像，且仅涵盖人体图像。预处理过程中会剔除带有水印、文字、艺术化描绘或非自然元素的图像。随后，我们使用现成的人体边界框检测器[^103]筛选图像，保留检测得分高于0.9且边界框尺寸超过300像素的图像。图2概述了 ![Image](images/1b3409bef41d6bf9dc31d51e094fb98a8b15e77870521ae1a73290b89ad3caea.jpg)

Fig. 2. Overview of number of humans per image in the Humans-300M dataset.

--- 我们数据集中每张图像内人数分布情况，其中超过2.48亿张图像包含多个主体。 ### 3.2 预训练我们采用掩码自编码器[^45]（MAE）方法进行预训练。我们的模型被训练为根据部分观测结果重建原始人体图像。与所有自编码器类似，该模型包含一个将可见图像映射为潜在表示的编码器，以及一个从该潜在表示中重建原始图像的解码器。我们的预训练数据集包含单人和多人图像；每张图像都会被调整为固定尺寸且保持正方形宽高比。与ViT[^27]类似，我们将图像划分为固定大小的规则且不重叠的块。随机选取其中一部分块进行掩码处理，其余块则保持可见。被掩码的块与可见块的比例称为掩码比率，该比例在训练过程中保持不变。更多细节可参考MAE[^45]的相关描述。图3（上）展示了我们的预训练模型对未见过的图像进行的重建效果。我们的模型能够适应多种图像特征，包括尺度、裁剪方式、受试者的年龄和种族以及人数等。与我们模型中的每个块令牌相比，其占图像面积的比例仅为0.02%，而标准ViT中这一比例为0.4%，足足降低了16倍——这为模型提供了更精细的令牌间推理能力。图3（下）显示，即便将掩码比率提高到95%，我们的模型仍能对保留样本中的人体结构进行合理的重建。 ![Image](images/746f4fe9fee642b13d26c604a6d2bd4c089f0acb0ace62c338be1feb65066a15.jpg)

Fig. 3. In-the-wild generalization of Sapiens on unseen images. Top: Each triplet illustrates the ground truth (left), the masked image (center), and the MAE reconstruction (right), with a masking ratio of 75%, a patch size of 16, and an image size of 1024. Bottom: Varying the mask ratio between [0.75, 0.95] during inference reveals a minimal reduction in quality, underscoring the model's robust understanding of human images.

--- ### 3.3 二维姿态估计我们采用自上而下的二维姿态估计范式，该范式旨在从输入图像$\mathbf{I} \in \mathbb{R}^{H \times W \times 3}$中检测出K个关键点的位置。大多数方法将这一问题转化为热图预测任务，其中K个热图分别代表了对应关键点出现在任意空间位置的概率。与[^111]类似，我们定义了一个用于关键点检测的姿态估计Transformer模型$\mathcal{P}$。训练和推理时使用的边界框会被缩放至$H \times W$，并作为$\mathcal{P}$的输入。设$\mathbf{y} \in \mathbb{R}^{H \times W \times K}$表示给定输入$\mathbf{I}$对应的K个真实关键点的热图。姿态估计器会将输入$\mathbf{I}$转换为一组预测热图$\hat{\mathbf{y}} \in \mathbb{R}^{H \times W \times K}$，且满足$\hat{\mathbf{y}} = \mathcal{P}(\mathbf{I})$。$\mathcal{P}$的训练目标是最小化均方损失$\mathcal{L}_{\mathrm{pose}} = \mathrm{MSE}(\mathbf{y}, \hat{\mathbf{y}})$。在微调阶段，$\mathcal{P}$的编码器会初始化为预训练得到的权重，而解码器则随机初始化。宽高比H : W被设定为4 : 3，预训练得到的位置嵌入也会相应地进行插值处理[^58]。我们采用了包含反卷积和卷积操作的轻量级解码器。我们在多种骨骼格式下对$\mathcal{P}$中的编码器和解码器进行微调，这些格式包括$K = 17$ [^67]、$K = 133$ [^55]，以及一种全新的高精度骨骼格式$K = 308$，如图4（左）所示。与最多包含68个面部关键点的现有格式相比，我们的标注数据包含243个面部关键点，涵盖了眼睛、眉毛、嘴唇、鼻子和耳朵周围的代表性点。这种设计旨在精准捕捉现实世界中面部表情的细微差别。利用这些关键点，我们手动标注了来自室内拍摄场景的100万张4K分辨率图像。 ![Image](images/21f134de422e0c8fca3a1c80929dadd832fe90fb7d2439ae337684e3d71802ea.jpg)

a) Full-Body - 308 kps

![Image](images/7b429a2e46a0343e5d1f960b98c845f12a3d6e4a7aa76193b67e310ffe8b696c.jpg)

b) Hands-40 kps

c) Face-243 kps

![Image](images/9f967f6709478ca162b74d7afdf25bbe439763cbdd4e767f35efeda6f10efca9.jpg)

d) Body-Part Segmentation: 28 Classes

Fig. 4. Ground-truth annotations for 2D pose estimation and body-part segmentation.

### 3.4 身体部位分割身体部位分割通常也被称为人体解析，其目标是将输入图像I中的像素划分为C个类别。大多数方法[^41]会进行转换 --- 我们将这个问题转化为估计每个像素的类别概率以生成概率图 $\hat{\mathbf{p}} \in \mathbb{R}^{H \times W \times C}$，使得 $\hat{\mathbf{p}} = \mathcal{S}(\mathbf{I})$，其中 $\mathcal{S}$ 就是分割模型。如前所述，我们为 $\mathcal{S}$ 采用了相同的编码器-解码器架构和初始化方案。$\mathcal{S}$ 会通过微调来最小化实际 $\mathbf{p}$ 与预测的 $\hat{\mathbf{p}}$ 概率图之间的加权交叉熵损失，即 $\mathcal{L}_{\mathrm{seg}} = \mathrm{WeightedCE}(\mathbf{p}, \hat{\mathbf{p}})$。我们使用两种部位分割词汇表对 $\mathcal{S}$ 进行微调：一种是包含 $C = 20$ [^41] 的标准词汇表，另一种是新构建的更大词汇表，包含 $C = 28$，如图4（右侧）所示。我们提出的词汇表在重要方面超越了以往的数据集：它能够区分肢体的上半部分和下半部分，还纳入了更细致的分类，比如上唇/下唇、牙齿和舌头。为此，我们用该词汇表手动标注了10万张4K分辨率的图像。 ### 3.5 深度估计在深度估计任务中，我们采用分割任务所用的架构，只是将解码器的输出通道数调整为1以支持回归计算。我们用 $\mathbf{I}$ 表示图像 $\mathbf{d} \in \mathbb{R}^{H \times W}$ 的真实深度图，用 $\mathcal{D}$ 表示深度估计器，其中 $\hat{\mathbf{d}} = \mathcal{D}(\mathbf{I})$，M代表图像中的人体像素数量。对于相对深度估计，我们会利用图像中的最大深度和最小深度，将 $\mathbf{d}$ 归一化到 $[0,1]$ 范围内。针对 $\mathcal{L}_{\text{depth}}$ 的 [^32] 损失 $\mathcal{D}$ 定义如下： $$ \Delta\mathbf{d}=\log(\mathbf{d})-\log(\hat{\mathbf{d}}), $$ $$ \overline{\Delta\mathbf{d}}=\frac{1}{M}\sum_{i=1}^{M}\Delta\mathbf{d}_{i}, $$ $$ \overline{{(\Delta\mathbf{d})^{2}}}=\frac{1}{M}\sum_{i=1}^{M}(\Delta\mathbf{d}_{i})^{2}, $$ $$ \mathcal{L}_{\mathrm{d e p t h}}=\sqrt{\overline{{(\varDelta\mathbf{d})^{2}}}-\frac{1}{2}(\overline{{\varDelta\mathbf{d}}})^{2}}. $$ 为了获得高保真度的鲁棒单目深度估计模型，我们利用600个高分辨率的人体摄影测量扫描数据生成了50万张合成图像，如图5所示。我们从100张HDRI环境贴图集合中随机选取背景，在场景中放置虚拟相机，随机调整其焦距、旋转和平移参数，从而拍摄出4K分辨率的图像及其对应的真实深度图。 --- ![Image](images/06c8dca52fa635726f64701b8c0d3b7bc07bb83051f369b826b2fd5c7458c412.jpg)

Fig. 5. Ground-truth synthetic annotations for depth and surface normal estimation.

### 3.6 表面法线估计与以往的任务类似，我们将法线估计器 $\mathcal{N}$ 的解码器输出通道数设为3，对应每个像素处法向量的xyz分量。生成的合成数据也被用作表面法线估计的监督信息。设 $\mathbf{n}$ 为图像 $\mathbf{I}$ 的真实法线图，$\hat{\mathbf{n}} = \mathcal{N}(\mathbf{I})$。与深度估计类似，损失 $\mathcal{L}_{\text{normal}}$ 仅在图像中的人体像素上计算，其定义如下： $$ \mathcal{L}_{\mathrm{n o r m a l}}=||\mathbf{n}-\hat{\mathbf{n}}||_{1}+(1-\mathbf{n}\cdot\hat{\mathbf{n}}) $$ ## 4 实验在本节中，我们首先概述实现细节，随后在四个任务上进行全面的基准测试：姿态估计、部位分割、深度估计和法线估计。 ### 4.1 实现细节我们最大的模型Sapiens-2B，是使用1024个A100 GPU在PyTorch框架下预训练18天得到的。所有实验均采用AdamW [^73]优化器。学习调度过程包括短暂的线性热身阶段，随后预训练采用余弦退火策略 [^72]，微调阶段则采用线性衰减策略 [^65]。所有模型均从零开始预训练，输入图像分辨率为$1024 \times 1024$，图像块大小为16。微调时，输入图像会被调整为4:3比例，即$1024 \times 768$。我们采用了裁剪、缩放、翻转以及光度失真等常规数据增强手段。此外，还会添加来自非人类COCO [^67]图像的随机背景。 ---

Table 2. Sapiens encoder specifications for pretraining on Human-300M dataset.

Model	#Params	FLOPs	Hidden size	Layers	Heads	Batch size
Sapiens-0.3 B	0.336 B	1.242 T	1024	24	16	98,304
Sapiens-0.6 B	0.664 B	2.583 T	1280	32	16	65,536
Sapiens-1 B	1.169 B	4.647 T	1536	40	24	40,960
Sapiens-2 B	2.163 B	8.709 T	1920	48	32	20,480

该模型用于分割、深度及法线预测任务。值得注意的是，我们采用了差异化的学习率 [^115] 以保留模型的泛化能力：即初始层的学习率较低，后续层的学习率则逐步升高。编码器的逐层学习率衰减系数设为0.85，权重衰减系数为0.1。表2详细列出了Sapiens的设计规格。遵循[^34] [^100]的思路，我们优先通过增加模型宽度而非深度来实现模型扩展。需要注意的是，尽管Sapiens-0.3B在架构上与传统的ViT-Large类似，但由于其分辨率更高，其浮点运算量达到了前者的20倍。 ### 4.2 二维姿态估计我们利用高精度的标注数据，对Sapiens模型进行人脸、身体、脚部和手部（$K = 308$）姿态估计的微调。训练时采用包含100万张图像的训练集，评估时则使用名为Humans-5K、包含5000张图像的测试集。我们的评估采用自上而下的方式[^111]，即借助现成的检测器[^37]来生成边界框，进而进行单人姿态推断。表3展示了我们的模型与现有全身姿态估计方法的对比结果。我们基于308个关键点词表和COCO-WholeBody的133个关键点词表之间共有的114个关键点，对所有方法进行评估[^55]。Sapiens-0.6B模型的AP值比当前最先进的DWPose-l模型[^114]高出2.8。与采用专为该任务设计、包含特征蒸馏机制的复杂师生框架的DWPose[^114]不同，Sapiens采用的是具备大规模人体相关预训练能力的通用编码器-解码器架构。有趣的是，即便参数数量相同，我们的模型仍展现出优于同类模型的性能。例如，Sapiens-0.3B的AP值比VitPose+-L高出5.6，而Sapiens-0.6B的AP值则比VitPose+-H高出7.9。在Sapiens系列模型中，我们的结果显示出模型规模与性能之间存在直接相关性。Sapiens-2B以61.1的AP值创下新纪录，较以往最优结果提升了7.6 AP。尽管是在室内拍摄工作室的标注数据上微调的，但如图6所示，Sapiens在真实场景中也表现出强大的泛化能力。 ---

Table 3. Pose estimation results on Humans-5K test set. Flip test is used.

Model	Input Size	Body		Foot		Face		Hand		Whole-body
Model	Input Size	AP	AR	AP	AR	AP	AR	AP	AR	AP	AR
DeepPose [^98]	384 \times 288	32.1	43.5	25.3	41.2	37.8	53.9	15.7	31.6	23.9	37.2
SimpleBaseline [^106]	384 \times 288	52.3	60.1	49.8	62.5	59.6	67.3	41.4	51.8	44.6	53.7
HRNet [^93]	384 \times 288	55.8	62.6	45.2	55.4	58.9	64.5	39.3	47.6	45.7	53.9
ZoomNAS [^110]	384 \times 288	59.7	66.3	48.1	57.9	74.5	79.2	49.8	60.6	52.1	60.7
ViTPose+-L [^112]	256 \times 192	61.0	66.8	62.4	68.2	50.1	55.7	41.5	47.3	47.8	53.6
ViTPose+-H [^112]	256 \times 192	61.6	67.4	63.2	69.0	50.7	56.3	42.0	47.8	48.3	54.1
RTMPose-x [^54]	384 \times 288	57.1	63.7	55.3	66.8	74.4	78.5	46.3	55.0	51.9	59.6
DWPose-m [^114]	256 \times 192	54.2	61.4	49.9	63.0	68.5	74.2	40.1	50.0	47.7	55.8
DWPose-l [^114]	384 \times 288	57.9	64.2	56.5	67.4	74.3	78.4	49.3	57.4	53.1	60.6
Sapiens-0.3B (Ours)	1024 \times 768	58.1	64.5	56.8	67.7	74.5	78.6	49.6	57.7	53.4 (+0.3)	60.9 (+0.3)
Sapiens-0.6B (Ours)	1024 \times 768	59.8	65.5	64.7	72.3	75.2	79.0	52.1	60.3	56.2 (+2.8)	62.4 (+2.1)
Sapiens-1B (Ours)	1024 \times 768	62.9	68.2	68.3	75.1	76.4	79.7	55.9	63.4	59.4 (+5.9)	65.3 (+5.1)
Sapiens-2B (Ours)	1024 \times 768	64.7	69.9	69.4	76.2	76.9	79.9	57.1	64.4	61.1 (+7.6)	67.1 (+7.0)

![Image](images/b19c2d2bea77a29d8b318000bef4d25bb041e6e4714efc9d06816b0fa2d29c6e.jpg)

Fig. 6. Pose estimation with Sapiens-1B for 308 keypoints on in-the-wild images.

### 4.3 身体部位分割我们使用包含28个类别的分割词表对我们的标注数据进行微调和评估。训练集包含10万张图像，测试集Humans-2K则包含2000张图像。我们将Sapiens与在我们训练集上微调的现有身体部位分割方法进行比较。重要的是，我们以各方法推荐的预训练检查点作为初始化起点。与姿态估计类似，表4也显示了模型在分割任务上的泛化能力。

Table 4. We report mIoU and mAcc on Humans-2K test set. Methods with $*$ are trained by us.

Model	mIoU (%)	mAcc (%)
FCN $^{{*}}$ [^71]	48.2	57.6
SegFormer $^{{*}}$ [^107]	53.5	62.9
Mask2Former $^{{*}}$ [^22]	58.7	68.3
DeepLabV3+ $^{{*}}$ [^18]	64.1	74.8
Sapiens-0.3 B (Ours)	76.7	86.1
Sapiens-0.6 B (Ours)	77.8	86.3
Sapiens-1 B (Ours)	79.9	89.1
Sapiens-2 B (Ours)	81.2	89.4

有趣的是，我们最小的模型Sapiens-0.3B在mIoU指标上比Mask2Former [^22]和DeepLabV3+ [^18]等现有的最先进分割方法高出12.6，这得益于其更高的分辨率和大规模以人为中心的预训练。此外，增大模型规模能够提升分割性能。 --- Sapiens-2B在测试集上的性能最佳，mIoU达到81.2，mAcc达到89.4。图7展示了我们模型的定性结果。 ### 4.4 深度估计我们在THuman2.0 [^117]和Hi4D [^116]数据集上评估模型的深度估计能力。THuman2.0包含526个高质量人体扫描数据，我们据此生成三组用于测试的图像：a) 面部图像、b) 上半身图像以及c) 全身图像，这些图像均通过虚拟相机获取。因此，包含1578张图像的THuman2.0能够用于评估模型在多种尺度下对单人图像的处理性能。相比之下，Hi4D数据集侧重于多人场景，每个序列都展示两个参与人际互动活动的受试者。我们选取第28对、第32对和第37对序列，这些序列包含来自摄像头4的6名独特受试者，共计1195张多人真实图像用于测试。我们遵循MiDaS-v3.1 [^11]制定的相对深度评估协议，报告AbsRel和$\delta_1$等标准指标。此外，由于$\delta_1$无法有效反映深度变化细微的人体场景中的性能表现，我们也将RMSE作为主要评价指标。表5将我们的模型与现有的最先进单目深度估计器进行了比较。仅在合成数据上微调的Sapiens-2B在所有人尺度及多人场景中均显著优于以往的方法。在Hi4D图像上，其RMSE比性能最优的Depth-Anything模型降低了20%。需要特别指出的是，虽然基线模型是在各种场景上训练的，但Sapiens专门聚焦于以人为中心的深度估计任务。 ![Image](images/6521a4e4048eaad14bc0a2a4e884f7c502e8d4b0cc05f713cb14d140ebd36d73.jpg)

Fig. 7. Human segmentation with Sapiens-1B for 28 categories on in-the-wild images.

Table 5. Comparison of Sapiens for monocular depth estimation on human images.

Method	TH2.0-Face			TH2.0-UprBody			TH2.0-FullBody			H4D
Method	RMSE $\downarrow$	AbsRel $\downarrow$	$\delta_1$ $\uparrow$	RMSE	AbsRel	$\delta_1$	RMSE	AbsRel	$\delta_1$	RMSE	AbsRel	$\delta_1$
MiDaS-L [^11]	0.114	0.097	0.925	0.398	0.271	0.868	0.701	0.689	0.782	0.261	0.082	0.975
MiDaS-Swin2 [^11]	0.050	0.036	0.995	0.122	0.081	0.948	0.292	0.171	0.862	0.209	0.063	0.997
Depth Any-B [^113]	0.039	0.026	0.999	0.048	0.028	0.999	0.061	0.030	0.999	0.143	0.034	0.997
Depth Any-L [^113]	0.039	0.027	0.999	0.048	0.027	0.999	0.060	0.030	0.999	0.147	0.035	0.997
Sapiens-0.3B (Ours)	0.012	0.008	1.000	0.015	0.009	1.000	0.021	0.010	1.000	0.148	0.046	1.000
Sapiens-0.6B (Ours)	0.011	0.008	1.000	0.015	0.009	1.000	0.021	0.010	1.000	0.142	0.044	1.000
Sapiens-1B (Ours)	0.009	0.006	1.000	0.012	0.007	1.000	0.019	0.009	1.000	0.125	0.039	1.000
Sapiens-2B (Ours)	0.008	0.005	1.000	0.010	0.006	1.000	0.016	0.008	1.000	0.114	0.036	1.000

--- 图8展示了Sapiens-1B与DepthAnything-L在深度估计方面的定性对比。为确保对比公平，预测深度会利用基线可视化中的人体掩码进行重新归一化。

DepthAnything-L (Depth, $\nabla Depth$)

Sapiens-1B (Depth, $\nabla$Depth)

![Image](images/7a2413f1c174bd485819855e43b3eb5a48092ceb5545bf10bbf0f2a4d15ce4c9.jpg)

Fig. 8. We compare our depth prediction with DepthAnything [^113]. To showcase the consistency of predicted depth, we also visualize the $\nabla$depth as pseudo surface normals.

### 4.5 表面法向估计用于表面法向评估的数据集与深度估计所用数据集相同。按照[^30]的要求，我们报告平均角误差和中位角误差，以及误差在$t^\circ$范围内的像素百分比$t \in \{11.25^\circ, 22.5^\circ, 30^\circ\}$。表6将我们的模型与现有针对人体的表面法向估计器进行了比较。所有模型的性能都大幅优于现有方法。在THuman2.0（单人）和Hi4D（多人）数据集上，Sapiens-2B的平均误差约为$12^\circ$。我们在图9中对Sapiens-1B与PIFuHD [^89]、ECON [^108]的表面法向估计效果进行了定性对比。需要注意的是，PIFuHD [^89]是用与我们相同的3D扫描数据集训练的，而ECON [^108]则是用4000个扫描样本训练的，这些样本是我们3D扫描数据的超集。 ---

Table 6. Comparison of Sapiens for surface normal estimation on human images.

Method	THuman2.0 [^117]					Hi4D [^116]
	Angular Error $^{o}$		% Within $t^{o}$			Angular Error $^{o}$		% Within $t^{o}$
	Mean	Median	11.25 $^{o}$	22.5 $^{o}$	30 $^{o}$	Mean	Median	11.25 $^{o}$	22.5 $^{o}$	30 $^{o}$
PIFuHD [^89]	30.51	27.13	15.81	42.97	58.86	22.39	19.26	22.98	60.14	77.02
HDNet [^52]	34.82	30.60	17.44	39.26	54.51	28.60	26.85	19.08	57.93	70.14
ICON [^109]	28.74	25.52	22.81	47.83	63.73	20.18	17.52	26.81	66.34	82.73
ECON [^108]	25.45	23.67	32.95	55.86	69.03	18.46	16.47	29.35	68.12	84.88
Sapiens-0.3 B	13.02	10.33	57.37	86.20	92.7	15.04	12.22	47.07	81.49	90.70
Sapiens-0.6 B	12.86	10.23	57.85	86.68	93.30	14.06	11.47	50.59	84.37	92.54
Sapiens-1 B	12.11	9.40	61.97	88.03	93.84	12.18	9.59	60.36	88.62	94.44
Sapiens-2 B	11.84	9.16	63.16	88.60	94.18	12.14	9.62	60.22	89.08	94.74

![Image](images/186246b07834a5d287fcf269f8a8036b0991db77954864b313696058695fc181.jpg)

Fig. 9. Qualitative comparison of Sapiens-1B with PIFuHD [^89] and ECON [^108] for monocular surface normal estimation on challenging in-the-wild images.

### 4.6 讨论预训练数据源的重要性。特征质量与预训练数据的质量密切相关。我们通过用不同数据源对Sapiens-0.3B进行预训练，来评估预训练在以人为为中心的任务中的重要性。 --- 每个数据集都在相同的训练计划和迭代次数下进行实验。我们对每个任务上的模型进行微调，并选择早期的检查点进行评估，因为我们认为早期阶段的微调更能反映模型的泛化能力。我们研究了大规模预训练对通用图像（可能包括人类图像）与仅限人类图像的影响，使用的是Sapiens模型。我们从包含10亿张图像的语料库中分别随机选取1亿张和3亿张通用图像，以此创建General-100M和General-300M数据集。表7展示了预训练结果的对比情况。我们报告了Humans-5K数据集上姿态估计的mAP值、Humans-2K数据集上语义分割的mIoU值、THuman2.0数据集上深度估计的RMSE值，以及Hi4D数据集上法向估计的平均角度误差（单位：度）。与[^112]中的研究结果一致，我们的结果表明，使用Human300M进行预训练能在所有指标上取得更优的性能，这凸显了在固定计算预算下以人类为中心进行预训练的优势。我们还研究了预训练过程中所见到的独特人类图像数量对法向估计性能的影响。相关结果以百分比形式呈现在$30^\circ$中。同样，我们为Sapiens-0.3B的预训练和微调保持了完全相同的条件。图10显示，随着预训练数据量的增加，模型性能稳步提升且并未出现饱和现象。总而言之，预训练阶段人类图像的多样性直接与下游任务的泛化能力提升相关联。零样本泛化能力。我们的模型对各种场景都展现出广泛的泛化能力。例如， ![Image](images/9ce32a34bb6fb8e89f78d080b521954cc3b22d12c714b94da5b68ad7efacc851.jpg)

Fig. 10. Sapiens-0.3B's normal estimation performance with unique human images seen during pretraining.

在语义分割任务中，Sapiens模型是在主体多样性有限、背景变化少且仅包含第三人称视角的单人图像上进行微调的（见图4）。尽管如此，我们的大规模预训练仍使其能够泛化到不同数量的主体、不同年龄以及以自我为中心的视角，如图11所示。这些观察结果在其他任务中同样适用。

Table 7. Comparison of Sapiens-0.3B pretrained on various data sources. A domain-specific pretraining yields superior results compared to general data sources.

Pretraining Source	#Images	Pose ( $\uparrow$)	Seg( $\uparrow$)	Depth( $\downarrow$)	Normal( $\downarrow$)
Random Initialization	-	30.2	40.3	0.720	35.4
General-100M	100M	35.7	50.1	0.351	27.5
General-300M	300M	37.3	52.8	0.347	26.8
Humans-100M	100M	43.6	61.2	0.316	24.0
Humans-300M (Full)	300M	47.0	66.5	0.288	21.8

--- ![Image](images/4939e4258cc737e046313c1e5d4cc6ce7a07a7a36a2ee87ae5eaa58b095417c9.jpg) 多人场景泛化能力 ![Image](images/643eac1157ffe3bb27648939a6ad8acef53c2f574dff735fc2e51badf43fd55b.jpg) ![Image](images/a1de417ba13e002bbc78e5718f7ff40791fc677a0fcb6408e04eedaf7c3614ef.jpg) 年龄泛化能力 ![Image](images/276a61ca30062387cefe274c2a49debd4c5050f8a963ec0c5909561d8cdef8fd.jpg) 视角泛化能力

Fig. 11. Sapiens achieves broad generalization via large human-centric pretraining.

应用场景。准确预测自然场景下人类图像的姿态、身体部位分割、深度及表面法向，能支撑诸多应用场景，比如3D人体扫描和可控图像生成。我们采用ControlNet [^118]，整合由Sapiens预测的面部和手部关键点，并在Humans-300M数据集的子集上训练这个改进后的模型，如图12所示。这使得图像生成过程能得到更精确的控制，从而生成解剖结构一致的人体图像。 ![Image](images/05bd698336f44b71b568ff1c68d918713f2ca8e20ce51a9912c34340000ec987.jpg)

Image

![Image](images/06ee018e9b9bca94f2e329a95e0369a1503e0778f0b5cdf3e6a11cc082645913.jpg) 预测的姿态 ![Image](images/8dd45cbbb33e110796b0bd08bfbb7e6e46c17f9383e97d001fb15c4b1d00b3b1.jpg) ![Image](images/2554a3965dbbcda28ee94ef3a4b94597fe1f765a3a470e9f0f7ad84b7345a120.jpg) ![Image](images/8f612903c17f700942ec8024ecea4cb9663661a2a037c29fc52d8b7bb361d604.jpg) 基于姿态条件的人体图像合成

Fig. 12. Image synthesis using ControlNet [^118] trained on Sapiens pose predictions.

局限性。尽管我们的模型整体表现良好，但并非完美无缺。具有复杂/罕见姿态、人群拥挤或严重遮挡的人类图像对模型而言颇具挑战性（详情见补充材料）。虽然激进的数据增强和检测后裁剪策略或许能缓解这些问题，但我们仍将我们的模型视为一种获取大规模真实世界监督数据的工具，通过人工参与来开发下一代人类视觉模型。 ## 5 结论 Sapiens标志着将以人为中心的视觉模型提升为基础模型的重要一步。我们的模型在各类以人为中心的任务中展现出强大的泛化能力。我们认为，模型之所以能取得业界领先的性能，主要归功于以下几点：(i) 在专为理解人类而设计的大规模精选数据集上进行预训练；(ii) 采用高分辨率且容量更大的视觉Transformer骨干网络；(iii) 利用经过增强的摄影棚数据及合成数据所标注的高质量标签。我们相信 --- 这些模型能够成为众多下游任务的关键组成部分，并为更广泛的科研群体提供高质量的视觉骨干网络。未来一个潜在的研究方向是将Sapiens扩展至3D及多模态数据集领域。 ## 参考文献 [^1]: Abnar, S., Dehghani, M., Neyshabur, B., Sedghi, H.: Exploring the limits of large scale pre-training. arXiv preprint arXiv:2110.02095 (2021) [^2]: Achiam, J., et al.: Gpt-4 technical report. arXiv preprint arXiv:2303.08774 (2023) [^3]: Alldieck, T., Zanfir, M., Sminchisescu, C.: Photorealistic monocular 3d reconstruction of humans wearing clothing. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 1506–1515 (2022) [^4]: Bai, Y., et al.: Sequential modeling enables scalable learning for large vision models. arXiv preprint arXiv:2312.00785 (2023) [^5]: Bao, H., Dong, L., Piao, S., Wei, F.: Beit: bert pre-training of image transformers. arXiv preprint arXiv:2106.08254 (2021) [^6]: Barron, J.T., Malik, J.: Intrinsic scene properties from a single rgb-d image. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 17–24 (2013) [^7]: Barron, J.T., Malik, J.: Shape, illumination, and reflectance from shading. IEEE Trans. Pattern Anal. Mach. Intell. 37(8), 1670–1687 (2014) [^8]: Bartol, K., Bojanić, D., Petković, T., Pribanić, T.: A review of body measurement using 3d scanning. IEEE Access 9, 67281–67301 (2021) [^9]: Bhat, S.F., Alhashim, I., Wonka, P.: Adabins: depth estimation using adaptive bins. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 4009–4018 (2021) [^10]: Bhat, S.F., Birkl, R., Wofk, D., Wonka, P., Müller, M.: Zoedepth: zero-shot transfer by combining relative and metric depth. arXiv preprint arXiv:2302.12288 (2023) [^11]: Birkl, R., Wofk, D., Müller, M.: Midas v3. 1-a model zoo for robust monocular relative depth estimation. arXiv preprint arXiv:2307.14460 (2023) [^12]: Bojic, L.: Metaverse through the prism of power and addiction: what will happen when the virtual world becomes more attractive than reality? Eur. J. Futures Res. 10(1), 1–24 (2022) [^13]: Brown, T., et al.: Language models are few-shot learners. Adv. Neural. Inf. Process. Syst. 33, 1877–1901 (2020) [^14]: Cao, Z., Simon, T., Wei, S., Sheikh, Y.: Realtime multi-person 2d pose estimation using part affinity fields. arXiv preprint arXiv:1611.08050 (2016) [^15]: Cao, Z., Hidalgo, G., Simon, T., Wei, S.E., Sheikh, Y.: Openpose: real-time multi-person 2d pose estimation using part affinity fields. arXiv preprint arXiv:1812.08008 (2018) [^16]: Caron, M., et al.: Emerging properties in self-supervised vision transformers. In: Proceedings of the IEEE/CVF International Conference on Computer Vision, pp. 9650–9660 (2021) ## [^17]: Chan, C., Ginosar, S., Zhou, T., Efros, A.A.: Everybody dance now. In: Proceedings of the IEEE/CVF International Conference on Computer Vision, pp. 5933–5942 (2019) --- [^18]: Chen, L.C., Zhu, Y., Papandreou, G., Schroff, F., Adam, H.: Encoder-decoder with atrous separable convolution for semantic image segmentation. In: Proceedings of the European Conference on Computer Vision (ECCV), pp. 801–818 (2018) [^19]: Chen, T., Kornblith, S., Norouzi, M., Hinton, G.: A simple framework for contrastive learning of visual representations. In: International Conference on Machine Learning, pp. 1597–1607. PMLR (2020) [^20]: Chen, X., et al.: Pali: a jointly-scaled multilingual language-image model. arXiv preprint arXiv:2209.06794 (2022) [^21]: Chen, Y., Wang, Z., Peng, Y., Zhang, Z., Yu, G., Sun, J.: Cascaded pyramid network for multi-person pose estimation. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 7103–7112 (2018) [^22]: Cheng, B., Misra, I., Schwing, A., Kirillov, A., Girdhar, R.: Masked-attention mask transformer for universal image segmentation. arXiv preprint arXiv:2112.01527 (2021) [^23]: Couprie, C., Farabet, C., Najman, L., LeCun, Y.: Indoor semantic segmentation using depth information. arXiv preprint arXiv:1301.3572 (2013) [^24]: Dai, Z., Liu, H., Le, Q.V., Tan, M.: Coatnet: marrying convolution and attention for all data sizes. Adv. Neural. Inf. Process. Syst. 34, 3965–3977 (2021) [^25]: Dehghani, M., et al.: Scaling vision transformers to 22 billion parameters. In: International Conference on Machine Learning, pp. 7480–7512. PMLR (2023) [^26]: Devlin, J., Chang, M.W., Lee, K., Toutanova, K.: Bert: pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805 (2018) 27. Dosovitskiy, A.等人：一张图片的价值相当于$16 \times 16$个词：用于大规模图像识别的Transformer。arXiv预印本arXiv:2010.11929（2020年） [^28]: Drobyshev, N., Chelishev, J., Khakhulin, T., Ivakhnenko, A., Lempitsky, V., Zakharov, E.: Megaportraits: one-shot megapixel neural head avatars. In: Proceedings of the 30th ACM International Conference on Multimedia, pp. 2663–2671 (2022) [^29]: Du, Y., Kips, R., Pumarola, A., Starke, S., Thabet, A., Sanakoyeu, A.: Avatars grow legs: generating smooth human motion from sparse tracking inputs with diffusion model. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 481–490 (2023) [^30]: Eftekhar, A., Sax, A., Malik, J., Zamir, A.: Omnidata: a scalable pipeline for making multi-task mid-level vision datasets from 3d scans. In: Proceedings of the IEEE/CVF International Conference on Computer Visionm, pp. 10786–10796 (2021) [^31]: Eigen, D., Fergus, R.: Predicting depth, surface normals and semantic labels with a common multi-scale convolutional architecture. In: Proceedings of the IEEE International Conference on Computer Vision, pp. 2650–2658 (2015) [^32]: Eigen, D., Puhrsch, C., Fergus, R.: Depth map prediction from a single image using a multi-scale deep network. Adv. Neural Inf. Process. Syst. 27 (2014) [^33]: El-Nouby, A., Izacard, G., Touvron, H., Laptev, I., Jegou, H., Grave, E.: Are large-scale datasets necessary for self-supervised pre-training? arXiv preprint arXiv:2112.10740 (2021) [^34]: El-Nouby, A., et al.: Scalable pre-training of large autoregressive image models. arXiv preprint arXiv:2401.08541 (2024) ## [^35]: Fang, H.S., Lu, G., Fang, X., Xie, J., Tai, Y.W., Lu, C.: Weakly and semi-supervised human body part parsing via pose-guided knowledge transfer. arXiv preprint arXiv:1805.04310 (2018) --- [^36]: Fang, H.S., Xie, S., Tai, Y.W., Lu, C.: RMPE: regional multi-person pose estimation. In: Proceedings of the IEEE International Conference on Computer Vision, pp. 2334–2343 (2017) [^37]: Fang, Y., Sun, Q., Wang, X., Huang, T., Wang, X., Cao, Y.: Eva-02: a visual representation for neon genesis. arXiv preprint arXiv:2303.11331 (2023) [^38]: Fang, Y., et al.: Eva: exploring the limits of masked visual representation learning at scale. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 19358–19369 (2023) [^39]: Fouhey, D.F., Gupta, A., Hebert, M.: Data-driven 3d primitives for single image understanding. In: Proceedings of the IEEE International Conference on Computer Vision, pp. 3392–3399 (2013) [^40]: Gong, K., Liang, X., Li, Y., Chen, Y., Yang, M., Lin, L.: Instance-level human parsing via part grouping network. In: Proceedings of the European Conference on Computer Vision (ECCV), pp. 770–785 (2018) [^41]: Gong, K., Liang, X., Zhang, D., Shen, X., Lin, L.: Look into person: self-supervised structure-sensitive learning and a new benchmark for human parsing. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 932–940 (2017) [^42]: Goyal, P., et al.: Self-supervised pretraining of visual features in the wild. arXiv preprint arXiv:2103.01988 (2021) [^43]: Guizilini, V., Vasiljevic, I., Chen, D., Ambrus, R., Gaidon, A.: Towards zero-shot scale-aware monocular depth estimation. In: Proceedings of the IEEE/CVF International Conference on Computer Vision, pp. 9233–9243 (2023) [^44]: Halstead, M.A., Barsky, B.A., Klein, S.A., Mandell, R.B.: Reconstructing curved surfaces from specular reflection patterns using spline surface fitting of normals. In: Proceedings of the 23rd Annual Conference on Computer Graphics and Interactive Techniques, pp. 335–342 (1996) [^45]: He, K., Chen, X., Xie, S., Li, Y., Dollár, P., Girshick, R.: Masked autoencoders are scalable vision learners. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 16000–16009 (2022) [^46]: He, K., Fan, H., Wu, Y., Xie, S., Girshick, R.: Momentum contrast for unsupervised visual representation learning. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 9729–9738 (2020) [^47]: He, K., Gkioxari, G., Dollár, P., Girshick, R.B.: Mask r-cnn. arXiv preprint arXiv:1703.06870 (2017) [^48]: He, K., Zhang, X., Ren, S., Sun, J.: Deep residual learning for image recognition. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 770–778 (2016) [^49]: Hoffmann, J., et al.: Training compute-optimal large language models. arXiv preprint arXiv:2203.15556 (2022) [^50]: Hu, L., Gao, X., Zhang, P., Sun, K., Zhang, B., Bo, L.: Animate anyone: consistent and controllable image-to-video synthesis for character animation. arXiv preprint arXiv:2311.17117 (2023) [^51]: Huang, S., Gong, M., Tao, D.: A coarse-fine network for keypoint localization. In: Proceedings of the IEEE International Conference on Computer Vision, pp. 3028–3037 (2017) [^52]: Jafarian, Y., Park, H.S.: Learning high fidelity depths of dressed humans by watching social media dance videos. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 12753–12762 (2021) ## [^53]: Jiang, A.Q., et al.: Mistral 7b. arXiv preprint arXiv:2310.06825 (2023) --- [^54]: Jiang, T., et al.: Rtmpose: real-time multi-person pose estimation based on mmpose. arXiv preprint arXiv:2303.07399 (2023) 55. Jin, S.等人：野外环境下的全身人体姿态估计。载于：Vedaldi, A., Bischof, H., Brox, T., Frahm, J.-M.（编）《ECCV 2020》。LNCS第12354卷，第196–214页。Springer, Cham（2020年）。 [^56]: Kato, N., Li, T., Nishino, K., Uchida, Y.: Improving multi-person pose estimation using label correction. arXiv preprint arXiv:1811.03331 (2018) [^57]: Khirodkar, R., Chari, V., Agrawal, A., Tyagi, A.: Multi-instance pose networks: rethinking top-down pose estimation. In: Proceedings of the IEEE/CVF International Conference on Computer Vision, pp. 3122–3131 (2021) [^58]: Kirillov, A., et al.: Segment anything. arXiv preprint arXiv:2304.02643 (2023) [^59]: Kocabas, M., Chang, J.H.R., Gabriel, J., Tuzel, O., Ranjan, A.: Hugs: human Gaussian splats. arXiv preprint arXiv:2311.17910 (2023) [^60]: Krishna, R., et al.: Visual genome: connecting language and vision using crowdsourced dense image annotationss. Int. J. Comput. Vision 123, 32–73 (2017) [^61]: Krizhevsky, A., Hinton, G., et al.: Learning multiple layers of features from tiny images. arXiv preprint (2009) [^62]: Ladicky, L., Zeisl, B., Pollefeys, M.: Discriminatively trained dense surface normal estimation. In: ECCV 2014, Part V 13, pp. 468–484. Springer (2014) [^63]: Lawrence, J., et al.: Project starline: a high-fidelity telepresence system. arXiv preprint (2021) [^64]: Levoy, M., et al.: The digital michelangelo project: 3d scanning of large statues. In: Proceedings of the 27th Annual Conference on Computer Graphics and Interactive Techniques, pp. 131–144 (2000) [^65]: Lewkowycz, A.: How to decay your learning rate. arXiv preprint arXiv:2103.12682 (2021) [^66]: Li, Z., Wang, X., Liu, X., Jiang, J.: Binsformer: revisiting adaptive bins for monocular depth estimation. arXiv preprint arXiv:2204.00987 (2022) 67. Lin, T.-Y.等人：Microsoft COCO：场景中的常见物体。载于：Fleet, D., Pajdla, T., Schiele, B., Tuytelears, T.（编）《ECCV 2014》。LNCS第8693卷，第740–755页。Springer, Cham（2014年）。 [^68]: Liu, Z., et al.: Swin transformer v2: scaling up capacity and resolution. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 12009–12019 (2022) [^69]: Lombardi, S., Simon, T., Saragih, J., Schwartz, G., Lehmann, A., Sheikh, Y.: Neural volumes: learning dynamic renderable volumes from images. arXiv preprint arXiv:1906.07751 (2019) [^70]: Lombardi, S., Simon, T., Schwartz, G., Zollhoefer, M., Sheikh, Y., Saragih, J.: Mixture of volumetric primitives for efficient neural rendering. ACM Trans. Graph. 40(4), 1–13 (2021) [^71]: Long, J., Shelhamer, E., Darrell, T., Berkeley, U.: Fully convolutional networks for semantic segmentation. arXiv preprint arXiv:1411.4038 (2014) [^72]: Loshchilov, I., Hutter, F.: SGDR: stochastic gradient descent with warm restarts. arXiv preprint arXiv:1608.03983 (2016) [^73]: Loshchilov, I., Hutter, F.: Decoupled weight decay regularization. arXiv preprint arXiv:1711.05101 (2017) [^74]: Lowe, D.G.: Three-dimensional object recognition from single two-dimensional images. Artif. Intell. 31(3), 355–395 (1987) ## [^75]: Luo, Y., Zheng, Z., Zheng, L., Guan, T., Yu, J., Yang, Y.: Macro-micro adversarial network for human parsing. In: Proceedings of the European Conference on Computer Vision (ECCV), pp. 418–434 (2018) --- [^76]: Ma, S., et al.:: Pixel codec avatars. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 64–73 (2021) [^77]: Mahajan, D., et al.: Exploring the limits of weakly supervised pretraining. In: Proceedings of the European Conference on Computer Vision (ECCV), pp. 181–196 (2018) [^78]: Newell, A., Yang, K., Deng, J.: Stacked hourglass networks for human pose estimation. In: European Conference on Computer Vision, pp. 483–499. Springer (2016) [^79]: Oquab, M., et al.: Dinov2: learning robust visual features without supervision. arXiv preprint arXiv:2304.07193 (2023) [^80]: Papandreou, G., et al.: Towards accurate multi-person pose estimation in the wild. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 4903–4911 (2017) [^81]: Peebles, W., Xie, S.: Scalable diffusion models with transformers. In: Proceedings of the IEEE/CVF International Conference on Computer Vision, pp. 4195–4205 (2023) 82. Render people：用于建筑可视化的3D人物模型——renderpeople，。访问日期：2024年2月22日 [^83]: Radford, A., et al.: Learning transferable visual models from natural language supervision. In: International Conference on Machine Learning, pp. 8748–8763. PMLR (2021) [^84]: Ranftl, R., Lasinger, K., Hafner, D., Schindler, K., Koltun, V.: Towards robust monocular depth estimation: mixing datasets for zero-shot cross-dataset transfer. IEEE Trans. Pattern Anal. Mach. Intell. 44(3), 1623–1637 (2020) [^85]: Rombach, R., Blattmann, A., Lorenz, D., Esser, P., Ommer, B.: High-resolution image synthesis with latent diffusion models. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 10684–10695 (2022) [^86]: Russakovsky, O., et al.: Imagenet large scale visual recognition challenge. Int. J. Comput. Vision 115, 211–252 (2015) [^87]: Saharia, C., et al.: Photorealistic text-to-image diffusion models with deep language understanding. Adv. Neural. Inf. Process. Syst. 35, 36479–36494 (2022) [^88]: Saito, S., Huang, Z., Natsume, R., Morishima, S., Kanazawa, A., Li, H.: Pifu: pixel-aligned implicit function for high-resolution clothed human digitization. In: Proceedings of the IEEE/CVF International Conference on Computer Vision, pp. 2304–2314 (2019) [^89]: Saito, S., Simon, T., Saragih, J., Joo, H.: Pifuhd: multi-level pixel-aligned implicit function for high-resolution 3d human digitization. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 84–93 (2020) [^90]: Schuhmann, C., et al.: Laion-5b: an open large-scale dataset for training next generation image-text models. Adv. Neural. Inf. Process. Syst. 35, 25278–25294 (2022) [^91]: Singh, M., et al.: The effectiveness of MAE pre-pretraining for billion-scale pretraining. arXiv preprint arXiv:2303.13496 (2023) [^92]: Sun, C., Shrivastava, A., Singh, S., Gupta, A.: Revisiting unreasonable effectiveness of data in deep learning era. In: Proceedings of the IEEE International Conference on Computer Vision, pp. 843–852 (2017) ## [^93]: Sun, K., Xiao, B., Liu, D., Wang, J.: Deep high-resolution representation learning for human pose estimation. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 5693–5703 (2019) --- 94. Taori, R.等人：Alpaca：一款性能强劲且可复现的指令跟随模型。斯坦福基金会模型研究中心3(6)，第7页（2023年）。 [^95]: Tay, Y., et al.: Scale efficiently: insights from pre-training and fine-tuning transformers. arXiv preprint arXiv:2109.10686 (2021) [^96]: Team, G., et al.: a family of highly capable multimodal models. arXiv preprint arXiv:2312.11805 (2023) [^97]: Thomee, B., et al.: Yfcc100m: the new data in multimedia research. Commun. ACM 59(2), 64–73 (2016) [^98]: Toshev, A., Szegedy, C.: Deeppose: human pose estimation via deep neural networks. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 1653–1660 (2014) [^99]: Touvron, H., et al.: Llama: open and efficient foundation language models. arXiv preprint arXiv:2302.13971 (2023) [^100]: Touvron, H., et al.: Llama 2: open foundation and fine-tuned chat models. arXiv preprint arXiv:2307.09288 (2023) [^101]: Wang, X., Fouhey, D., Gupta, A.: Designing deep networks for surface normal estimation. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 539–547 (2015) [^102]: Weng, C.Y., Curless, B., Srinivasan, P.P., Barron, J.T., Kemelmacher-Shlizerman, I.: Humannerf: free-viewpoint rendering of moving people from monocular video. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 16210–16220 (2022) 103. Wu, Y., Kirillov, A., Massa, F., Lo, W.Y., Girshick, R.：Detectron2（2019年）。 [^104]: Xia, F., Wang, P., Chen, L.C., Yuille, A.L.: Zoom better to see clearer: human and object parsing with hierarchical auto-zoom net. In: ECCV 2016, Part V 14. pp. 648–663. Springer (2016) [^105]: Xia, F., Wang, P., Chen, X., Yuille, A.L.: Joint multi-person pose estimation and semantic part segmentation. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 6769–6778 (2017) [^106]: Xiao, B., Wu, H., Wei, Y.: Simple baselines for human pose estimation and tracking. In: Proceedings of the European Conference on Computer Vision (ECCV), pp. 466–481 (2018) [^107]: Xie, E., Wang, W., Yu, Z., Anandkumar, A., Alvarez, J.M., Luo, P.: Segformer: simple and efficient design for semantic segmentation with transformers. Adv. Neural. Inf. Process. Syst. 34, 12077–12090 (2021) [^108]: Xiu, Y., Yang, J., Cao, X., Tzionas, D., Black, M.J.: Econ: explicit clothed humans optimized via normal integration. arXiv preprint arXiv:2212.07422 (2022) [^109]: Xiu, Y., Yang, J., Tzionas, D., Black, M.J.: Icon: implicit clothed humans obtained from normals. In: 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pp. 13286–13296. IEEE (2022) [^110]: Xu, L., et al.: Zoomnas: searching for whole-body human pose estimation in the wild. IEEE Trans. Pattern Anal. Mach. Intell. 45(4), 5296–5313 (2022) [^111]: Xu, Y., Zhang, J., Zhang, Q., Tao, D.: Vitpose: simple vision transformer baselines for human pose estimation. Adv. Neural. Inf. Process. Syst. 35, 38571–38584 (2022) ## [^112]: Xu, Y., Zhang, J., Zhang, Q., Tao, D.: Vitpose+: vision transformer foundation model for generic body pose estimation. arXiv preprint arXiv:2212.04246 (2022) --- [^113]: Yang, L., Kang, B., Huang, Z., Xu, X., Feng, J., Zhao, H.: Depth anything: unleashing the power of large-scale unlabeled data. arXiv preprint arXiv:2401.10891 (2024) [^114]: Yang, Z., Zeng, A., Yuan, C., Li, Y.: Effective whole-body pose estimation with two-stages distillation. In: Proceedings of the IEEE/CVF International Conference on Computer Vision, pp. 4210–4220 (2023) [^115]: Yang, Z., Dai, Z., Yang, Y., Carbonell, J., Salakhutdinov, R.R., Le, Q.V.: Xlnet: generalized autoregressive pretraining for language understanding. Adv. Neural Inf. Process. Syst. 32 (2019) [^116]: Yin, Y., Guo, C., Kaufmann, M., Zarate, J.J., Song, J., Hilliges, O.: Hi4d: 4d instance segmentation of close human interaction. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 17016–17027 (2023) [^117]: Yu, T., Zheng, Z., Guo, K., Liu, P., Dai, Q., Liu, Y.: Function4d: real-time human volumetric capture from very sparse consumer RGBD sensors. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 5746–5756 (2021) [^118]: Zhang, L., Rao, A., Agrawal, M.: Adding conditional control to text-to-image diffusion models. In: Proceedings of the IEEE/CVF International Conference on Computer Vision, pp. 3836–3847 (2023) [^119]: Zhang, S.H., et al.: Pose2seg: detection free human instance segmentation. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 889–898 (2019) [^120]: Zhang, X., et al.: Gpt-4v (ision) as a generalist evaluator for vision-language tasks. arXiv preprint arXiv:2311.01361 (2023) [^121]: Zhou, J., et al.: ibot: image bert pre-training with online tokenizer. arXiv preprint arXiv:2111.07832 (2021) [^122]: Zlateski, A., Jaroensri, R., Sharma, P., Durand, F.: On the importance of label quality for semantic segmentation. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 1479–1487 (2018)