{
  "paper_id": "e29bb03e5406164ff36df250d86baed2",
  "paper_title": "NeuralAnnot: Neural Annotator for 3D Human Mesh Training Sets",
  "paper_authors": [
    "Gyeongsik Moon",
    "Hongsuk Choi",
    "Kyoung Mu Lee"
  ],
  "publication_date": "",
  "publication_venue": "2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW)",
  "abstract": "大多数3D人体网格回归器在使用真值2D/3D关节坐标进行弱监督的同时，还使用3D伪真值人体模型参数进行全监督，因为3D伪真值能带来显著的性能提升。3D伪真值通常由标注器在回归器的预处理阶段迭代地将3D人体模型参数拟合到训练集的真值2D/3D关节坐标获得，最后一次迭代得到的参数即用于全监督。以SMPLify-X为代表的优化式标注器被广泛使用，但由于它们对每个样本独立拟合，经常产生错误的3D伪真值。为解决该问题，本文提出基于神经网络的标注器NeuralAnnot。其核心思想是使用一个神经网络回归器专门完成标注：在假设没有3D伪真值的情况下，仅用训练集的真值2D/3D关节坐标进行弱监督，然后在同一训练集上测试，测试输出即作为3D伪真值来全监督后续回归器。实验表明，NeuralAnnot生成的3D伪真值对训练回归器非常有益，并且相关3D伪真值已公开发布。\n",
  "keywords": [
    "3D人体网格估计",
    "3D伪真值标注",
    "NeuralAnnot",
    "神经网络标注器",
    "弱监督学习",
    "SMPL-X",
    "MANO",
    "FLAME",
    "深度歧义"
  ],
  "paper_institutions": [
    "Department of ECE and ASRI, Seoul National University",
    "IPAI, Seoul National University"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:29:45.049588Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对SMPLify-X等优化式标注器对每个样本独立拟合、在深度歧义、关节缺失、截断和遮挡时容易产生错误3D伪真值的问题，本文在大多数3D人体网格回归器依赖“3D伪真值人体模型参数全监督＋真值2D/3D关节坐标弱监督”的背景下，提出首个基于神经网络的一阶段标注器NeuralAnnot。该方法把ResNet-50与全连接层组成的回归器专门用于标注：网络在回归器预处理阶段于同一训练集上训练和测试，因此不要求面向未知样本的泛化能力，也不需要初始3D伪真值；对动作捕捉数据集，网络输入图像和经全连接层编码的真值3D关节坐标，图像特征提供人体结构与外观信息，3D关节补充深度和真实尺度，对野外数据集则仅输入图像，因为真值2D关节不能提供额外深度且会增加计算成本。其核心机制可由野外标注损失 L_wild = ||Ĵ^2D − J^2D||_1 + Σ λ_wild,θ θ̂² 概括，其中第一项是由预测相机投影得到的2D关节重投影弱监督，第二项为防止不合理人体网格的L2正则；MoCap场景采用对应的3D关节损失 L_mocap = ||Ĵ^3D − J^3D||_1 + Σ λ_mocap,θ θ̂²。为处理不同监督条件，MoCap场景直接预测3D关节旋转，而野外场景预测VPoser身体潜码或MANO手部PCA系数等低维嵌入，以把输出限制在合理姿态空间。实验标注了Human3.6M、MPI-INF-3DHP、3DPW、InterHand2.6M、FreiHAND等MoCap数据，以及只有2D关节的MSCOCO野外数据；选择3DPW和FreiHAND是因为它们提供真值3D网格，可计算顶点误差，选择MSCOCO则用于验证多样化真实场景中的深度歧义和标注收益。实现采用PyTorch、ImageNet预训练ResNet-50、Adam优化器、批大小192、256×256输入和1e-4初始学习率，标准骨干有助于把改进归因于标注机制；评估同时使用直接MPJPE/MPVPE和间接误差，后者用类型差异很大的I2L-MeshNet与HMR训练后在3DPW、FreiHAND、Stirling等基准上测试，以降低对特定回归器的依赖。结果显示，在使用3D关节拟合的MoCap标注中，NeuralAnnot在Human3.6M、3DPW、InterHand2.6M和FreiHAND上分别取得8.5、10.7/11.1、5.8、3.6/4.0的MPJPE/MPVPE，明显优于SMPLify-X的13.1、19.2/38.0、10.0、6.6/7.3；在模拟仅有2D关节的设置下，3DPW误差从147.35/206.62降至60.1/68.3；在MSCOCO间接评估中，身体PA MPVPE降至71.6/73.3，手部AUC升至0.760/0.786，面部误差与SMPLify-X接近；改为两阶段后在3DPW上达到64.6/65.1，优于SPIN和EFT。这些结果支持了数据驱动的跨样本学习、图像上下文利用和按监督类型选择输出空间三项关键创新。该方法适用于为身体、手、脸和全身构建训练用3D标注，也可替换SPIN/EFT两阶段流程中的优化式初始标注器，并可扩展到任何提供真值2D/3D关节的数据；但其产物仍是拟合得到的伪真值而非真实3D标注，依赖可用的真值关节，低维潜空间可能排除部分真实姿态，野外2D监督仍受深度、尺度、截断和遮挡约束，部分数据集与代码也仅限学术非商业使用。\n\n### 关键要点\n\n- NeuralAnnot是首个基于神经网络的一阶段3D人体模型参数标注器，不需要初始3D伪真值，仅由真值2D/3D关节坐标进行弱监督。\n- 它在同一训练集上完成训练和测试，测试输出的人体模型参数成为3D伪真值，用于后续全监督3D人体网格回归器。\n- 网络结构采用ImageNet预训练ResNet-50提取图像特征，再接全连接层回归SMPL、SMPL-X、MANO或FLAME参数。\n- 标注MoCap数据时，图像特征与512维真值3D关节特征拼接，使网络同时获得外观、关节结构、深度和真实尺度信息。\n- 标注野外数据时仅输入图像，因为图像外观和上下文可缓解深度歧义并处理截断关节，而额外输入2D关节不能增加深度信息且提高计算成本。\n- MoCap场景直接预测3D关节旋转，野外场景预测VPoser潜码或手部PCA系数，用低维姿态空间避免解剖学上不合理的网格。\n- 训练使用2D或3D关节的L1重投影/位置损失，并对人体模型参数施加L2正则；MoCap关节旋转先以6D表示预测再转为轴角。\n- 标注数据包括Human3.6M、MPI-INF-3DHP、3DPW、InterHand2.6M、FreiHAND和MSCOCO，覆盖身体、手、脸及全身参数。\n- 直接误差用MPJPE和MPVPE衡量，间接误差则用生成的MSCOCO伪真值训练I2L-MeshNet和HMR后在3D基准上测试。\n- 在MoCap直接标注中，NeuralAnnot在3DPW上取得10.7/11.1的MPJPE/MPVPE，显著低于SMPLify-X的19.2/38.0。\n- 在MSCOCO间接评估中，NeuralAnnot的身体PA MPVPE为71.6/73.3，优于SMPLify-X的80.7/81.4，手部AUC也由0.731/0.755提升到0.760/0.786。\n- 两阶段NeuralAnnot在3DPW上的PA MPVPE为64.6/65.1，优于SPIN的77.4/80.1和EFT的71.2/72.1，说明其也能改进两阶段标注流程。"
}