{
  "paper_id": "4a78f838094832555440f30582c21390",
  "paper_title": "A Probabilistic Attention Model with Occlusion-aware Texture Regression for 3D Hand Reconstruction from a Single RGB Image",
  "paper_authors": [
    "Zheheng Jiang",
    "Hossein Rahmani",
    "Sue Black",
    "Bryan M. Williams"
  ],
  "publication_date": "",
  "publication_venue": "2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)",
  "abstract": "针对单张RGB图像的三维手部重建，本文提出一种新型概率注意力模型。该模型将基于MANO的网络作为先验网络以估计关节和网格顶点的先验概率分布，并通过基于注意力的网格顶点不确定性回归模型AMVUR学习顶点间以及关节与顶点间的依赖关系。模型还引入遮挡感知的手部纹理回归网络，利用可微光栅化和反向插值实现高保真纹理重建。该框架可在全监督和弱监督两种方式下训练，并在HO3Dv2、HO3Dv3和FreiHand等基准上取得先进的三维手部形状、姿态与纹理重建精度，尤其在严重遮挡场景下表现稳健。\n",
  "keywords": [
    "三维手部重建",
    "单张RGB图像",
    "概率模型",
    "注意力机制",
    "AMVUR",
    "MANO",
    "遮挡感知",
    "纹理回归",
    "弱监督学习"
  ],
  "paper_institutions": [
    "Lancaster University",
    "St John's College of the University of Oxford"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:23:29.720984Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n单张RGB图像三维手部重建面临单目深度模糊、手部自遮挡以及手物交互造成的严重遮挡；现有基于MANO等参数模型的方法虽具有强结构先验并适合弱监督，却受限于有限样本形成的参数空间，而无模型方法直接回归三维关节和顶点，虽更灵活却依赖大量三维真值且难以在弱监督场景中消除深度歧义。为此，本文提出概率注意力模型，将MANO网络作为先验网估计关节与顶点的先验分布P，由AMVUR学习近似条件分布Q，并在训练中用KL散度约束二者接近；其弱监督核心机制可概括为 Loss = E[-ln P(J2D|J3D,V3D,C,I)] + KL(Q(V3D)||P(V3D)) + KL(Q(J3D)||P(J3D)) + KL(Q(C)||P(C))，从而在没有三维标注时把三维顶点、关节和相机作为隐变量进行变分推断。AMVUR先以三维顶点特征为查询、三维关节特征为键和值执行交叉注意，建立关节与网格顶点的关联，再通过自注意捕获顶点间的短程和长程依赖，并使用初始MANO三维坐标作为位置编码；纹理分支则通过可微光栅化获得可见三角形和二值遮挡掩码，以反向插值从全局特征与浅层像素特征构造逐顶点特征，回归每顶点RGB并实现遮挡感知的高保真纹理。实验选择HO3Dv2和HO3Dv3，是因为二者包含大量手物交互、严重遮挡和准确三维标注，可检验遮挡鲁棒性，FreiHand则作为通用手部重建基准；全监督采用ResNet50、弱监督采用EfficientNet-B0以遵循同类主流设置，并使用Adam优化器、批大小32和两块RTX 3090 Ti进行端到端训练。评价采用Procrustes对齐后的MPJPE、MPVPE、AUC_J、AUC_V、F5和F15，纹理采用PSNR和SSIM；在HO3Dv2上，最终模型全监督达到AUC_J 0.835、MPJPE 8.3mm、AUC_V 0.836、MPVPE 8.2mm、F5 0.608，弱监督达到MPJPE 10.3mm、MPVPE 10.8mm；在HO3Dv3上，全监督达到MPJPE 8.7mm、MPVPE 8.3mm，弱监督达到MPJPE 10.5mm、MPVPE 10.7mm；纹理PSNR和SSIM分别为41.7和0.994，显著优于S2HAND的27.8和0.973。这些结果支持了概率融合先验、关节—顶点交叉注意、顶点自注意以及遮挡感知纹理回归的有效性。该方法可用于人机交互、虚拟现实、增强现实和手语翻译，但仍受单目图像深度歧义、严重遮挡、弱监督仅有二维标注以及MANO先验表达能力有限等约束；后续可结合补充材料中的FreiHand结果和Procrustes对齐前评估，进一步探索复杂遮挡下的泛化能力与实际部署。\n\n### 关键要点\n\n- 基于MANO的模型法具有手部结构先验、对环境变化和弱监督更稳健，但形状与姿态回归被参数模型的有限样本空间约束。\n- 无模型方法直接回归三维关节和顶点坐标，可摆脱参数空间限制，但通常需要大量三维标注，且GraphCNN难以捕获顶点间长程依赖。\n- 本文概率模型将MANO作为先验网，将AMVUR作为近似分布学习网络，二者联合训练并通过KL散度使预测分布受先验分布约束。\n- AMVUR的交叉注意模块以顶点特征为查询、关节特征为键和值，用于建模三维关节与网格顶点之间的相关性。\n- AMVUR的自注意模块用于建模不同网格顶点之间的短程和长程依赖，两个MLP层最终输出顶点三维坐标高斯分布的均值和方差。\n- 位置编码通过向图像全局特征附加零姿态、零形状MANO模型产生的初始三维关节和顶点坐标构建，以缓解二维图像中重叠关节的位置歧义。\n- 遮挡感知纹理回归模型逐顶点回归RGB颜色，利用可微光栅化、可见三角形ID、二值遮挡掩码和反向插值把像素级浅层特征汇集到三维顶点。\n- 实验数据包括HO3Dv2的77558张手物交互图像、HO3Dv3的103462张图像，以及用于补充评估的FreiHand基准。\n- 全监督实验使用ResNet50骨干网络，弱监督实验使用EfficientNet-B0骨干网络，训练采用Adam优化器、批大小32和两块NVIDIA RTX 3090 Ti GPU。\n- 在HO3Dv2和HO3Dv3的全监督与弱监督设置中，最终概率模型在所有列出的关节、网格指标上均取得最佳或先进结果。\n- 消融实验表明，将AMVUR中的全连接基线替换为自注意、交叉注意和三维位置编码后，HO3Dv2上的MPVPE可从11.4mm降至8.2mm。\n- 纹理对比中，本文模型在HO3Dv2手部区域取得41.7的PSNR和0.994的SSIM，说明其比S2HAND更能恢复细节并减少颜色偏差。",
  "available_templates": [
    "deep_read",
    "simple"
  ]
}