{
  "paper_id": "0ee22f6b282dbcab6e3b480e8d49cfa0",
  "paper_title": "I2L-MeshNet: Image-to-Lixel Prediction Network for Accurate 3D Human Pose and Mesh Estimation from a Single RGB Image",
  "paper_authors": [
    "Gyeongsik Moon",
    "Kyoung Mu Lee"
  ],
  "publication_date": "2020",
  "publication_venue": "European Conference on Computer Vision (ECCV) 2020",
  "abstract": "以往多数基于单张RGB图像的3D人体姿态与网格估计方法从输入图像估计人体网格模型参数。然而，直接回归参数属于高度非线性映射，会破坏输入图像的像素空间关系，并且无法建模预测不确定性，从而增加训练难度。为解决这些问题，本文提出I2L-MeshNet，这是一个图像到像素（line+pixel）预测网络。该网络不直接回归参数，而是为每个网格顶点坐标预测1D热图上的逐像素似然；这种基于像素的1D热图能够保留输入图像中的空间关系并建模预测不确定性。实验证明了图像到像素预测的优势，且I2L-MeshNet性能优于以往方法，代码已公开发布。\n",
  "keywords": [
    "3D人体姿态估计",
    "3D人体网格估计",
    "单张RGB图像",
    "lixel",
    "1D热图",
    "预测不确定性",
    "空间关系",
    "SMPL",
    "MANO",
    "无模型方法"
  ],
  "paper_institutions": [
    "ECE & ASRI, Seoul National University"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:29:44.035114Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对单目RGB图像中复杂人体关节运动和2D到3D歧义导致的3D姿态与网格恢复难题，以往基于SMPL/MANO参数回归或直接顶点坐标回归的方法在输出端使用全连接层，破坏图像像素空间关系且不能表达预测不确定性，使训练困难并降低测试精度；受热图型3D姿态估计启发，本文提出无模型的I2L-MeshNet，将一维空间中的量化单元定义为lixel，并用级联的PoseNet和MeshNet分别预测关节与网格顶点在x、y、z轴上的1D似然热图。其核心机制是对升采样特征沿另一空间轴平均边缘化后经1×1卷积得到x/y热图，对深度特征经全连接、归一化和reshape得到z热图，再由soft-argmax把离散热图转为连续坐标，最终通过M=Π(T⁻¹M^C+R)恢复网格、P=JM回归关节。实验选用Human3.6M作为大规模室内基准并用于消融，3DPW检验户外场景，FreiHAND检验真实手部，MSCOCO与MuCo-3DHP用于训练；在原SMPL参数不可得或只有2D标注时，用SMPLify-X生成伪网格标注，从而覆盖身体/手部、室内/户外以及密集顶点监督。实现采用PyTorch、ImageNet预训练ResNet-50、Adam优化器、批大小48、256×256输入、D=64、缩放/旋转/翻转/颜色增强，训练12个epoch约36小时，推理速度约25fps。评价使用MPJPE、PA MPJPE、PA MPVPE和F-score；目标表示消融显示同时保留空间关系和不确定性的lixel热图在Human3.6M上MPJPE为86.2，优于SMPL参数的100.3和坐标回归的114.3，级联PoseNet后进一步降到81.8；在Human3.6M与MSCOCO同条件训练下，本文在Human3.6M取得55.7/41.7、在3DPW取得95.4/60.8，FreiHAND上取得7.6 PA MPVPE、7.4 PA MPJPE及0.681/0.973的F@5mm/F@15mm，这些结果支持空间保持、不确定性建模和姿态引导网格的有效性。方法适用于虚拟现实/增强现实、动作识别等场景，但受单目深度歧义、人体边界框检测、根关节深度估计以及无模型方法难以利用纯2D弱监督等约束；未来可通过迭代拟合、神经网络或二者结合构建更多精确对齐的野外图像-3D网格数据，以进一步提升无模型方法精度。\n\n### 关键要点\n\n- I2L-MeshNet属于无模型方法，不直接回归SMPL/MANO参数，而是为每个网格顶点的x、y、z坐标预测1D热图，热图值表示对应lixel存在该顶点的似然。\n- PoseNet以ResNet-50提取图像特征，经3个上采样模块将空间尺寸放大8倍；x/y热图通过对另一空间轴平均边缘化后用1×1卷积生成，z热图在根关节相对深度空间生成。\n- MeshNet将PoseNet的图像特征与由预测关节生成的3D高斯热图拼接，高斯核σ=2.5，再以与PoseNet相同的热图预测方式输出所有网格顶点的x/y/z 1D热图。\n- 离散热图由soft-argmax转换为连续坐标，最终通过M=Π(T⁻¹M^C+R)恢复网格，并利用SMPL或MANO中的关节回归矩阵J由P=JM得到3D姿态。\n- 训练联合五项L1损失：PoseNet姿态损失、MeshNet姿态损失、网格顶点损失、法向量损失和边长损失，其中法向量损失权重λ=0.1；梯度不回传到3D高斯热图之前以稳定训练。\n- lixel热图的内存复杂度为O(VD)，低于体素热图的O(VD³)和像素热图组合的O(VD²)，因此能在现代GPU上为密集顶点预测每轴64分辨率的热图。\n- 实现使用PyTorch和ImageNet预训练ResNet-50，Adam优化器批大小为48，输入裁剪为256×256，D=64，训练12个epoch、在3块RTX 2080Ti上约需36小时，推理速度约25fps。\n- Human3.6M和3DPW使用MPJPE与PA MPJPE评估，FreiHAND使用PA MPVPE、PA MPJPE和F-score；MSCOCO和MuCo-3DHP仅用于训练，其中MSCOCO网格由SMPLify-X拟合得到。\n- 目标表示消融中，lixel热图在Human3.6M上达到86.2 MPJPE，优于SMPL参数回归的100.3和xyz坐标回归的114.3；级联PoseNet与MeshNet可将结果提升至81.8/58.0。\n- 在Human3.6M和MSCOCO相同训练条件下，I2L-MeshNet在Human3.6M上取得55.7 MPJPE和41.7 PA MPJPE，在3DPW上取得95.4 MPJPE和60.8 PA MPJPE，显著优于HMR、GraphCMR和SPIN。\n- FreiHAND测试中，该方法取得7.6 PA MPVPE、7.4 PA MPJPE、0.681 F@5mm和0.973 F@15mm，并且推理时不依赖真值尺度信息。\n- 系统默认使用真值人体边界框裁剪；边界框不可用时使用Mask R-CNN检测。无模型方法缺少SMPL/MANO参数先验，因此较难直接从野外2D姿态弱监督中受益，单目深度歧义仍然存在。",
  "available_templates": [
    "deep_read",
    "simple"
  ]
}