{
  "paper_id": "a25c64bf5e3710f0004a2d2db2568c6f",
  "paper_title": "End-to-end Recovery of Human Shape and Pose",
  "paper_authors": [
    "Angjoo Kanazawa",
    "Michael J. Black",
    "David W. Jacobs",
    "Jitendra Malik"
  ],
  "publication_date": "2018",
  "publication_venue": "CVPR 2018",
  "abstract": "我们提出人体网格恢复（HMR），一个从单张RGB图像重建人体完整3D网格的端到端框架。与大多数仅计算2D或3D关节位置的现有方法不同，我们产生由形状和3D关节角度参数化的更丰富、更有用的网格表示。主要目标是最小化关键点重投影损失，这使模型能够仅使用带有2D真值标注的in-the-wild图像进行训练。然而，仅靠重投影损失是高度欠约束的。本工作通过引入一个利用大型3D人体网格数据库训练的对抗判别器来解决该问题，其任务是判断人体形状和姿态参数是否真实。我们证明HMR可以在使用和不使用任何配对2D-to-3D监督的情况下训练。我们不依赖中间2D关键点检测，直接从图像像素推断3D姿态和形状参数。给定包含人的边界框，模型可实时运行。我们在各种in-the-wild图像上展示了该方法，优于以往输出3D网格的基于优化的方法，并在3D关节定位估计和部位分割等任务上显示出有竞争力的结果。",
  "keywords": [
    "人体网格恢复",
    "3D人体姿态估计",
    "人体形状估计",
    "SMPL",
    "对抗先验",
    "重投影损失",
    "弱监督学习",
    "生成对抗网络"
  ],
  "paper_institutions": [
    "University of California, Berkeley",
    "MPI for Intelligent Systems, Tübingen, Germany",
    "University of Maryland, College Park"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:31:42.112750Z",
  "template_tag": "simple",
  "summary": "### 摘要\n从单张RGB图像恢复人体的完整3D网格是计算机视觉的难题：以往方法大多只估计稀疏的2D/3D关节位置，或采用\"先检测2D关键点、再拟合参数化人体模型\"的多阶段流程（如SMPLify，每图需20-60秒优化），既丢失图像信息又难以实时；同时in-the-wild图像缺乏大规模3D真值标注，且单视图2D-to-3D映射存在深度歧义等固有病态性。本文提出人体网格恢复（HMR）端到端框架，直接从图像像素回归SMPL参数——形状β∈R^10、23个关节的3D旋转θ、弱透视相机（旋转R、平移t、尺度s），共85维向量Θ={θ,β,R,t,s}——并以最小化关键点重投影损失为目标，从而能利用仅有2D标注的野外图像训练；针对欠约束问题，引入因子化对抗先验（K+2个判别器分别约束形状、各关节旋转与整体姿态分布），迫使输出落在真实人体流形上并隐式学习关节角度限制；回归采用迭代误差反馈机制Θ_{t+1}=Θ_t+ΔΘ_t（T=3次迭代）直接回归旋转矩阵，避免离散化损失精度。总目标函数为 L=λ(L_reproj+𝟙·L_3D)+L_adv。训练数据选用带2D关键点标注的LSP、LSP-extended、MPII、MS COCO（过滤后约1k/10k/20k/80k张，覆盖野外多样姿态）与带3D标注的Human3.6M、MPI-INF-3DHP（约150k张，SMPL参数经MoSh从MoCap标记获得），以验证有/无配对3D监督两种设定；实现上采用ImageNet预训练的ResNet-50编码器、最小二乘GAN与Adam优化器，单块Titan 1080ti训练约5天（TensorFlow）。评估采用MPJPE、Procrustes对齐后的重建误差、PCK与AUC：Human3.6M协议2重建误差56.8mm，显著优于SMPLify（82.3mm）等同样输出SMPL网格的方法，支持了端到端直接回归的优越性；协议1 MPJPE 87.97mm，与仅输出3D骨架的SOTA方法具竞争力；MPI-INF-3DHP刚性对齐后PCK 86.3、MPJPE 89.8mm优于VNect；LSP人体部位分割精度91.67%，与使用真值的SMPLify oracle相当，且单图仅需0.04秒（实时），验证了网格表示与高效性。完全不使用配对2D-to-3D监督的HMR unpaired仍取得有竞争力的结果（协议2重建误差66.5mm），而无判别器又无3D监督时网络输出畸形人体，证明对抗先验是弱监督的关键，也暗示未来可利用易获取的海量2D标注持续改进3D重建。恢复的完整网格（含头部与四肢朝向）可直接服务于动画制作、测量、重定向与前景/部位分割等现实场景，并在遮挡与截断下仍推断全身；但受限于缺乏野外网格真值，定量评估只能以3D关节任务为代理，测试依赖真值边界框，且MPJPE与视觉质量相关性较弱。\n### 关键要点\n- **端到端回归SMPL参数**：HMR从单张RGB图像的卷积特征直接回归85维参数Θ={θ,β,R,t,s}（形状β∈R^10、23个关节的轴角旋转θ、弱透视相机），无需中间2D关键点检测，避免两阶段训练丢失图像信息。\n- **核心目标函数**：L=λ(L_reproj+𝟙·L_3D)+L_adv，其中重投影损失L_reproj=Σᵢ||vᵢ(xᵢ-x̂ᵢ)||₁使仅有2D关键点标注的in-the-wild图像可用于训练，𝟙指示图像是否有3D真值。\n- **因子化对抗先验**：共训练K+2=25个判别器（1个形状、23个逐关节旋转、1个整体姿态），采用最小二乘GAN形式，以数据驱动方式学习关节角度限制与人体测量约束，无需像SMPLify那样预先假设关节自由度。\n- **迭代误差反馈（IEF）**：3D回归模块以[φ,Θ_t]为输入输出残差ΔΘ_t，按Θ_{t+1}=Θ_t+ΔΘ_t迭代更新（T=3），直接回归旋转矩阵而非角度分箱分类；重投影与3D损失仅施加于最终估计，对抗损失施加于每次迭代以防过冲陷入局部极小。\n- **训练数据**：2D关键点数据集LSP、LSP-extended、MPII、MS COCO（过滤过小或可见关键点少于6的图像后约1k/10k/20k/80k张）；3D数据集Human3.6M与MPI-INF-3DHP提供约150k张带3D关节标注的图像，Human3.6M的SMPL参数经MoSh从原始MoCap标记获得。\n- **实现设置**：ResNet-50（ImageNet预训练）编码图像得2048维特征，回归模块为两个1024维全连接层加dropout；图像缩放至224×224，批大小64（配对3D监督时2D/3D样本各半），Adam训练55个epoch，单块Titan 1080ti约5天，TensorFlow实现。\n- **Human3.6M结果**：协议2（正面相机）重建误差56.8mm，大幅优于SMPLify（82.3mm）、SMPLify from 91 kps（80.7mm）与Regression Forest（93.9mm）；协议1 MPJPE 87.97mm、重建误差58.1mm，优于Deep Kinematic Pose（107.26mm），与仅输出3D关节的SOTA方法具竞争力。\n- **MPI-INF-3DHP结果**：刚性对齐后PCK 86.3、AUC 47.8、MPJPE 89.8mm，优于VNect（83.9/47.3/98.0）；绝对指标下PCK 72.9略低于VNect的76.6，该数据集真值存在噪声且更具挑战。\n- **分割与实时性**：在LSP的6部位+背景分割上精度91.67%、F1 0.87，与使用真值分割和关键点的SMPLify oracle（92.17%）相当，优于Decision Forests（86.60%）；给定边界框时单图仅需0.04秒，而SMPLify约需1分钟。\n- **无配对3D监督设定**：HMR unpaired完全不使用配对2D-to-3D数据，协议2重建误差66.5mm、协议1 MPJPE 106.84mm仍具竞争力；消融显示若同时去掉判别器与3D监督，网络会产生姿态与形状畸形的\"怪物\"，但其2D重投影误差仍很小，证明对抗先验对弱监督至关重要。\n- **评估约束**：由于缺乏in-the-wild图像的3D网格真值，定量评估只能以3D关节定位为代理任务；所有测试结果使用真值边界框；作者观察到MPJPE与视觉质量相关性不佳——高误差百分位（如95th）的结果在语义上往往仍合理。\n- **应用与展望**：恢复的完整3D网格（含头部与四肢朝向）可直接用于动画、修改、测量、重定向及前景/部位分割，在遮挡与截断下仍推断全身；无配对监督的结果表明未来可利用易获取的大规模2D标注图像持续提升3D重建精度。"
}