{
  "paper_id": "6ca6fa1f904021f3a101c3ba5d7b76db",
  "paper_title": "Sapiens: Foundation for Human Vision Models",
  "paper_authors": [
    "Rawal Khirodkar",
    "Timur Bagautdinov",
    "Julieta Martinez",
    "Su Zhaoen",
    "Austin James",
    "Peter Selednik",
    "Stuart Anderson",
    "Shunsuke Saito"
  ],
  "publication_date": "",
  "publication_venue": "ECCV 2024 (Lecture Notes in Computer Science)",
  "abstract": "我们提出 Sapiens，一个面向四项基本人体视觉任务——2D 姿态估计、身体部位分割、深度估计和表面法向量预测——的模型族。模型原生支持 1K 高分辨率推理，只需在超过 3 亿张自然场景人体图像上预训练的基础模型进行微调，即可适配单项任务。研究发现，在相同计算预算下，使用经过筛选的人体图像进行自监督预训练可显著提升多种人体中心任务性能；即使标注数据稀少或完全为合成数据，模型仍对自然场景数据表现出显著泛化能力。简单设计还带来可扩展性，参数量从 3 亿增至 20 亿时，各任务性能持续提升。Sapiens 在多个人体中心基准上持续超越复杂基线：在 Humans-5K 姿态估计上提升 7.6 mAP，在 Humans-2K 部位分割上提升 17.1 mIoU，在 Hi4D 深度上相对 RMSE 降低 22.4%，在 THuman2 法向量上相对角误差降低 53.5%。\n",
  "keywords": [
    "人体中心",
    "大规模预训练",
    "自然场景"
  ],
  "paper_institutions": [
    "Codec Avatars Lab, Meta, Menlo Park, USA"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:24:48.579358Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对真实场景中 2D 关键点、细粒度分割、深度和法向量等人体资产标注昂贵、公共标签噪声大、单任务系统复杂且难以高分辨率泛化的问题，论文在 DINOv2、MAWS、AIM 等通用视觉预训练和人体任务研究基础上，提出以人为中心的 Sapiens 基础模型族。其核心是预训练—微调范式与 MAE 机制：先将 1024×1024 图像切分为 patch，随机遮挡后由编码器处理可见 patch、解码器重建人体图像，从而学习细粒度人体表征；下游采用统一编码器—轻量任务解码器，微调时 ŷ=P(I) 并端到端优化。预训练数据 Humans-300M 从约 10 亿张自然图像中筛选，去除水印、文字、艺术化和非自然元素，并要求人体检测分数高于 0.9、边界框大于 300 像素，最终保留约 3 亿张多样人体图像且超过 2.48 亿张含多人，用以验证领域数据分布比同规模通用数据更有效。模型参数从 0.336B 扩展到 2.163B，优先增加宽度，均以 patch 16、1024 分辨率从头训练；最大模型用 1024 张 A100 训练 18 天，每个模型处理约 1.2 万亿 token，微调分辨率为 1024×768，采用 AdamW、差分学习率和常见数据增强。姿态任务使用 100 万张 4K 室内采集图和新 308 关键点（含 243 面部点），分割使用 10 万张 4K 图和 28 类词表，深度与法向量则用 600 个 RenderPeople 扫描渲染 50 万张 4K 合成图及随机 HDRI 背景、相机参数，以高质量但有限或合成监督验证野外泛化。结果以 AP/AR、mIoU/mAcc、RMSE/AbsRel/δ1 和平均/中位角误差等衡量：Sapiens-2B 在 Humans-5K 达到 61.1 whole-body AP、提升 7.6，在 Humans-2K 达到 81.2 mIoU、提升 17.1，在 Hi4D 深度 RMSE 为 0.114、相对降低约 22.4%，在 THuman2 法向量平均角误差 11.84°、相对降低 53.5%；消融显示 Humans-300M 优于同规模通用图像，性能随模型和数据规模稳定提升。该模型可用于人脸、上半身、全身、多人图像以及 3D 人体扫描和 ControlNet 可控生成，但复杂罕见姿态、拥挤、严重遮挡和高计算成本仍是约束，未来可扩展到 3D、多模态数据并结合人在回路获取真实监督。\n\n### 关键要点\n\n- Sapiens 采用 MAE 自监督预训练，通过随机遮挡图像 patch 并重建原始人体图像来学习通用人体视觉表征。\n- Humans-300M 从约 10 亿张自然图像中筛选得到，排除水印、文字和艺术化内容，并使用人体检测器保留高质量、大尺寸人体图像。\n- Humans-300M 包含约 3 亿张人体图像，其中超过 2.48 亿张含多人，覆盖尺度、年龄、族裔、人数和场景等多样性。\n- Sapiens 提供 0.3B、0.6B、1B 和 2B 四种 ViT 模型，原生预训练分辨率为 1024×1024，patch 大小为 16。\n- 下游微调统一使用预训练编码器加随机初始化的轻量任务解码器，并在 1024×768 输入上端到端训练。\n- 姿态任务引入 308 个全身关键点，其中包括 243 个面部关键点，并使用 100 万张 4K 室内标注图训练。\n- 身体部位分割任务将词表扩展到 28 类，区分上下肢、上下唇、牙齿、舌头和躯干等细节，并使用 10 万张 4K 标注图。\n- 深度和法向量任务使用 600 个 RenderPeople 高精度扫描渲染 50 万张 4K 合成图，并随机改变 HDRI 背景、相机焦距、旋转和平移。\n- 在 Humans-5K 上，Sapiens-2B 的 whole-body AP 达到 61.1，比此前方法高 7.6；在 Humans-2K 上达到 81.2 mIoU，提升 17.1。\n- 在 Hi4D 多人深度测试中，Sapiens-2B 的 RMSE 为 0.114，相对此前方法降低约 22.4%，并在单人 THuman2.0 各尺度上也表现最优。\n- 数据来源消融表明，在相同训练计划和计算预算下，Humans-300M 预训练在姿态、分割、深度和法向量任务上均优于 General-300M。\n- 模型可用于 3D 人体扫描和基于 ControlNet 的姿态条件图像生成，但复杂罕见姿态、拥挤、严重遮挡以及高昂训练成本仍是主要限制。"
}