{
  "paper_id": "b57afef68ab481d74c239de3f0db8efd",
  "paper_title": "One-Stage 3D Whole-Body Mesh Recovery with Component Aware Transformer",
  "paper_authors": [
    "Jing Lin",
    "Ailing Zeng",
    "Haoqian Wang",
    "Lei Zhang",
    "Yu Li"
  ],
  "publication_date": "",
  "publication_venue": "2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)",
  "abstract": "全身网格恢复旨在从单张图像估计3D人体身体、面部和手部参数。由于面部和手部通常位于极小区域，分辨率问题使单网络完成该任务颇具挑战。现有方法通常检测手部和面部，放大其分辨率后输入专门网络预测参数，最后融合结果。这种复制-粘贴流程虽能捕捉面部和手部细粒度细节，但不同部位间的联系难以在晚融合中恢复，导致不合理的3D旋转和不自然姿态。本文提出一种名为OSX的单阶段表达性全身网格恢复流程，不为各部位设置独立网络。具体而言，设计由全局身体编码器和局部面部/手部解码器组成的部件感知Transformer（CAT）。编码器预测身体参数并为解码器提供高质量特征图；解码器执行特征级上采样-裁剪以提取高分辨率部件特定特征，并采用关键点引导的可变形注意力精确估计手部和面部。整个流程简单有效，无需任何人工后处理，并自然避免不合理预测。大量实验证明了OSX的有效性。最后，作者构建了带有高质量2D和3D全身标注的大规模上半身数据集UBody，包含多种真实生活场景中身体部分可见的人物，以弥合基础任务与下游应用之间的差距。\n",
  "keywords": [
    "3D全身网格恢复",
    "单阶段框架",
    "部件感知Transformer",
    "SMPL-X",
    "关键点引导可变形注意力",
    "特征级上采样裁剪",
    "UBody数据集"
  ],
  "paper_institutions": [
    "国际数字经济研究院（IDEA）",
    "清华大学深圳国际研究生院"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:27:36.463892Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n论文针对单目图像中3D全身网格恢复需同时估计身体、双手和面部，但脸手通常只占极小区域的问题；现有ExPose、FrankMocap、PIXIE、Hand4Whole等方法多采用检测、裁剪、放大并由独立专家网络分别回归，再进行晚融合的多阶段流程，虽能捕捉细粒度细节，却造成系统复杂、部件间通信阻断、腕部3D旋转不合理和全身姿态不自然，而直接将Hand4Whole改为共享骨干网络的预实验又使AGORA的All MPVPE从183.8mm升至202.3mm、EHF从77.5mm升至84.7mm，说明单阶段多部件特征建模并非平凡。作者提出首个单阶段框架OSX，用部件感知Transformer CAT在一个编码器-解码器中回归SMPL-X参数：全局编码器将图像切分为patch并与27个可学习身体token拼接，通过自注意力捕获全局关联并回归身体22×3关节旋转、10维形状和3维平移，同时输出高质量多尺度特征；局部解码器先将编码器特征reshape并用反卷积上采样，依据预测的脸手边界框执行可微RoIAlign，在特征层完成上采样-裁剪，再以低分辨率特征预测的2D关键点为参考，结合姿态位置编码和可学习嵌入形成92个部件token，通过多尺度可变形交叉注意力仅在关键点附近采样少量点，其核心机制为 $CA(\\mathbf{Q},\\mathbf{V},p_q)=\\sum_{l=1}^{L}\\sum_{k=1}^{K}A_{lqk}W\\mathbf{V}_{l}(\\phi_{l}(p_q)+\\Delta p_{lqk})$，随后回归每只手15×3旋转、下颌3维旋转和10维表情；训练损失由SMPL-X参数、3D关键点、2D关键点和2D边界框四项L1监督组成。训练选用COCO-WholeBody、MPII和Human3.6M，伪SMPL/SMPL-X真值来自EFT与NeuralAnnot，并刻意不使用额外手、脸专用数据以检验单阶段简洁基线；在PyTorch中用Adam、初始学习率1e-4训练14个epoch，配合缩放、旋转、随机水平翻转和颜色抖动。评测在AGORA、EHF和3DPW上使用MPVPE、PA-MPVPE、N-MPVPE及MPJPE/PA-MPJPE等毫米级误差，OSX在AGORA-test将All MPVPE降至122.8mm、相对SOTA降低9.5%，在EHF降至70.8mm、降低7.8%，在3DPW身体MPJPE降至74.7mm、降低13.4%，支撑全局编码、特征级高分辨率裁剪和关键点引导可变形注意力的有效性；消融还显示移除手/脸解码器或关键点引导会增大误差，×4上采样最佳且之后趋于饱和，故默认使用×1、×2、×4。为连接手语识别、手势生成、情感识别、人机交互、脱口秀、在线课堂等以上半身为中心的真实场景，作者构建超过105万帧、覆盖15种真实生活场景的UBody，提供2D全身关键点和3D SMPL-X网格标注，包含近景截断、交互、遮挡、模糊、光照变化、镜头突变和音频等现有基准缺少的约束；在UBody上的基准测试表明AGORA预训练模型存在分布差距，而利用UBody训练可改善真实上半身场景恢复。未来可研究如何在手、脸专用数据与单阶段框架间取得最佳平衡，并在手势识别、虚拟人驱动等下游任务中验证UBody，同时继续应对严重截断、遮挡和小脸小手场景。\n\n### 关键要点\n\n- OSX以单个编码器-解码器完成SMPL-X全身参数回归，不设HeadNet、HandNet、BodyNet等独立专家，也不需要手工后处理或复制-粘贴式晚融合。\n- CAT编码器将输入图像划分为固定大小patch，线性投影并加入位置编码后与27个可学习身体token拼接，利用Transformer自注意力建模全局关系并回归身体姿态、形状与平移。\n- OSX解码器在特征图上通过反卷积生成多尺度高分辨率特征，再依据从编码器特征预测的脸手边界框执行可微RoIAlign，避免图像级裁剪放大和额外骨干网络。\n- 关键点引导方案从低分辨率部件特征回归2D参考关键点，并将关键点特征、姿态位置编码和可学习嵌入组合为部件查询，使解码器从稀疏、形变的手部空间位置中提取信息。\n- 可变形交叉注意力在每个参考关键点附近学习少量采样点，实验中为4个，在多尺度特征上聚合信息，从而以较低计算量提升手脸参数回归精度。\n- OSX输出SMPL-X所需的身体22×3关节旋转、10维体型、全局平移、左右手各15×3旋转、下颌3维旋转和10维表情参数，并由SMPL-X层生成全身网格。\n- 训练使用COCO-WholeBody、MPII和Human3.6M，SMPL/SMPL-X伪标签来自EFT和NeuralAnnot；作为单阶段基线，模型未使用额外手专用或脸专用数据集。\n- 实验采用毫米级误差：全身网格主要报告MPVPE，并报告刚性对齐后的PA-MPVPE，AGORA还报告N-MPVPE，3DPW身体任务报告MPJPE与PA-MPJPE。\n- 与Hand4Whole相比，OSX在AGORA-test的All MPVPE为122.8mm，降低9.5%；在EHF为70.8mm，降低7.8%；在3DPW身体MPJPE为74.7mm，降低13.4%。\n- UBody包含超过1,051,000帧、15种真实生活场景，支持多人、野外、上半身和视频设置，并提供2D全身关键点与SMPL-X网格标注。\n- UBody强调近景截断、人物或物体交互、遮挡、模糊、光照背景变化、镜头突变和音频等条件，可用于测试模型从基础基准到真实下游场景的泛化能力。\n- 消融表明移除手/脸解码器或关键点引导会使误差增加，上采样至×4时手部MPVPE最佳并趋于饱和，因此默认采用×1、×2、×4三个尺度。"
}