{
  "paper_id": "189d7ad2ad08e1573f9a009294ad028f",
  "paper_title": "Enhancing Monocular 3D Hand Reconstruction with Learned Texture Priors",
  "paper_authors": [
    "Giorgos Karvounas",
    "Nikolaos Kyriazis",
    "Iason Oikonomidis",
    "Georgios Pavlakos",
    "Antonis A. Argyros"
  ],
  "publication_date": "",
  "publication_venue": "WACV 2026",
  "abstract": "本文重新审视纹理在单目3D手部重建中的作用，不将其视为追求照片级真实感的附属输出，而是作为能够主动支持姿态与形状估计的密集、空间锚定线索。作者观察到，即使是高性能模型，预测手部几何与图像外观之间也常存在不完全重叠，这表明纹理对齐可能是一种未被充分利用的监督信号。为此，论文提出轻量级纹理模块，将逐像素观测嵌入UV纹理空间，并在预测手部外观与观测外观之间引入新的密集对齐损失。该方法需要可微渲染管线，以及一个将图像映射为具有已知拓扑的3D手部网格的模型，从而能够把带纹理的手部投影回图像并执行像素级对齐。该模块自包含且易于插入现有重建管线。为分离并凸显纹理引导监督的价值，作者增强了高性能但结构朴素的Transformer架构HaMeR；所得系统同时提升了准确性与真实感，证明了外观引导对齐在手部重建中的价值。代码、模型和权重可在 <https://gkarv.github.io/hand-texture-module> 获取。\n",
  "keywords": [
    "单目3D手部重建",
    "纹理先验",
    "UV纹理",
    "可微渲染",
    "密集对齐",
    "光度损失",
    "Transformer",
    "弱监督学习"
  ],
  "paper_institutions": [
    "希腊研究与技术基金会（FORTH）计算机科学研究所",
    "德克萨斯大学奥斯汀分校计算机科学系",
    "克里特大学计算机科学系"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:25:01.110552Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n单目3D手部重建因深度歧义和遮挡而本质欠约束，却在远程理疗、机器人遥操作、教学技能迁移以及AR、游戏和社交交互等场景中具有便携和可扩展价值；多视角棚拍虽精确但难以大规模部署，而即使HaMeR等高性能模型也常出现预测网格与图像外观不完全重合，说明现有几何驱动训练尚未充分利用像素级纹理信号。针对高质量完整纹理标注主要存在于多视角或棚拍条件、野外单目数据丰富但只包含稀疏且带噪观测的问题，论文提出一个可插拔的轻量级纹理模块：从BaseNet预测的手部网格和相机出发，将可见表面点反投影为变长UV-RGB样本，经RGB卷积嵌入、UV随机傅里叶位置编码、可学习查询token与TransformerDecoder聚合，再通过pixel shuffle卷积上采样生成224×224完整UV纹理；随后用PyTorch3D将带纹理网格渲染回图像，并以核心机制 $\\hat I_{hand}=\\mathcal R(\\hat M,\\hat{\\mathcal T},\\hat c),\\;\\mathcal L_{total}=\\mathcal L_{base}+\\lambda_{tex}\\mathcal L_{tex}(I,\\hat I_{hand})$ 在原有损失上增加密集光度对齐，纹理预训练本身则采用可见区域masked L1与傅里叶幅度一致性。实验遵循HaMeR协议，选用由NEWDAYS、VISOR和Ego4D构成的HInt数据集评估第一视角、野外和重度遮挡分布，并以FreiHAND、HO3Dv2检验干净棚拍数据是否退化；实现中冻结HaMeR超过600M参数的主干、只微调头部并固定1.1M参数的纹理模块，以隔离纹理监督的独立贡献，实验仅使用一块A100 GPU，每次训练约70毫秒。PCK@0.05、@0.10和@0.15结果显示All与Occluded类别普遍改善，例如VISOR遮挡关键点@0.10从61.8%提升到64.2%，严重遮挡HInt帧最高提升2.7个百分点，而FreiHAND与HO3Dv2结果同HaMeR基本持平，支持纹理可作为密集空间对齐信号来修正姿态和形状且不损害标准基准表现的核心创新；以HTML生成纹理为真值的L1/SSIM评估表明，约1000个可见UV像素即可保持稳定重建质量，全部可见时L1为3.3、SSIM为0.95。该方法要求可微渲染、固定网格拓扑和一致UV映射，伪标签也会继承初始几何预测误差，未来可扩展到更多手部重建骨干、发展更稳定的可微渲染策略、将纹理模块用作姿态误差去噪器，并探索纹理先验与基座网络更紧密的集成方式。\n\n### 关键要点\n\n- 方法不需要真实UV纹理标注：对每张图像用预训练BaseNet估计网格和相机，将可见网格顶点投影到图像，并把对应RGB颜色关联到UV坐标，形成变长稀疏UV-RGB样本。\n- 纹理模块结合像素级注意力与结构化上采样：RGB经卷积形成token，UV坐标使用随机傅里叶特征编码，学习查询token通过PyTorch TransformerDecoder聚合信息。\n- 卷积上采样解码器使用5层pixel shuffle逐步提升分辨率，最终输出与手部网格固定UV布局对齐的3×224×224密集纹理图。\n- 弱监督纹理损失只约束观测到的texel，由masked L1项和逐通道离散傅里叶变换幅度一致性项组成，兼顾局部颜色准确与全局纹理连贯。\n- 纹理训练样本混合HTML参数化纹理模型上的随机采样，以及真实图像中由BaseNet反投影得到的含噪部分纹理，并通过整体颜色随机化增强对纹身、手套和遮挡物等情况的适应性。\n- 微调HaMeR时，在原有BaseNet损失之外加入渲染手部图像与真实输入外观之间的光度对齐损失；几何模型回归MANO参数，可微渲染由PyTorch3D实现。\n- 最佳训练策略是先预热纹理模块，再在HaMeR微调中固定该模块，同时冻结HaMeR主干、只训练头部；表5显示这优于联合微调纹理模块或从头训练纹理模块。\n- HInt评估使用NEWDAYS、VISOR和Ego4D三个第一视角数据来源，并按HaMeR协议在All、Visible、Occluded类别下报告PCK@0.05、@0.10和@0.15。\n- 在HInt上，All和Occluded类别跨数据集与阈值稳定提升，例如VISOR遮挡关键点@0.10达到64.2%，而HaMeR为61.8%；Visible类别整体相当，NEWDAYS可见点最多略低0.3个百分点。\n- FreiHAND和HO3Dv2上的结果与HaMeR基本持平，说明纹理引导微调不会在标注完善、相对干净的棚拍多视角基准上造成明显性能退化。\n- 纹理质量随可见UV像素密度变化：200个样本时L1/SSIM为7.6/0.85，1000个样本时为5.9/0.89，全部可见时为3.3/0.95，表明约1000个可见texel即可保持较稳定的重建保真度。\n- 纹理模块约有110万参数，训练每遍约70毫秒，推理时可以冻结或移除，因此不会增加运行时开销；其适用前提是管线具备固定拓扑、一致UV映射和可微渲染能力。",
  "available_templates": [
    "deep_read",
    "simple"
  ]
}