{
  "paper_id": "fc9d49ffedf8ecf16d9e199823b0c0c3",
  "paper_title": "SRHand: Super-Resolving Hand Images and 3D Shapes via View/Pose-aware Neural Image Representations and Explicit 3D Meshes",
  "paper_authors": [
    "Minje Kim",
    "Tae-Kyun Kim"
  ],
  "publication_date": "",
  "publication_venue": "Advances in Neural Information Processing Systems 38",
  "abstract": "重建精细手部头像在众多应用中具有重要作用。以往方法虽关注高保真手部几何，却严重依赖高分辨率多视角图像，在低分辨率输入上泛化能力不足；已有多视角图像超分辨率方法虽能增强三维视角一致性，但主要面向固定分辨率的静态物体或场景，无法处理手部这类铰接变形目标。本文提出SRHand，可从低分辨率图像同时重建精细三维几何和带纹理的手部图像。该方法结合隐式图像表示与显式手部网格的优势，提出几何感知隐式图像函数GIIF，通过上采样粗糙输入图像学习精细手部先验。通过联合优化隐式图像函数和显式三维手部形状，方法能够保持上采样手部图像之间的多视角与姿态一致性，并实现皱纹、指甲等精细三维重建。在InterHand2.6M和Goliath数据集上的实验表明，该方法在定量和定性结果上均显著优于适配到手部数据的图像上采样方法及现有三维手部重建方法。\n",
  "keywords": [
    "手部图像超分辨率",
    "三维手部重建",
    "几何感知隐式图像函数",
    "显式三维网格",
    "多视角一致性",
    "姿态一致性",
    "隐式神经表示",
    "MANO",
    "手部头像"
  ],
  "paper_institutions": [
    "School of Computing, KAIST"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:27:50.026462Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对全身捕捉中手部区域通常占比很低、输入分辨率随姿态和相机位置变化，而现有高保真手部重建方法普遍依赖高分辨率多视角图像的问题，SRHand旨在同时从低分辨率多视角/姿态图像恢复精细二维纹理和三维几何；相关研究中S2Hand、AMVUR等低分辨率网格方法纹理模糊，MANO-HD、HARP、UHM、XHand等虽通过细分网格增强几何细节却仍对输入分辨率敏感，通用超分方法容易产生幻觉纹理和多视角不一致，基于NeRF或高斯泼溅的多视角超分又主要限于静态物体、固定倍率且不输出可利用的三维形状。SRHand将几何感知隐式图像函数GIIF与显式高分辨率手部网格紧耦合：GIIF用RDN编码低分辨率图像、用堆叠沙漏网络编码从MANO模板得到的法线图，并将两类特征通道拼接后以连续坐标和查询单元回归RGB，核心机制为$I_{sr}=F_\\theta(E_\\varphi(I_{lr}) \\oplus E_\\psi(N),[x,c])$，因而支持任意倍率超分并利用法线提供关节结构先验；三维端采用超过49,000个顶点、98,000个面的细分网格，通过位移、反照率和均值纹理损失区分几何形变与纹理颜色，再以自适应微调把GIIF生成的图像、重建网格及多视角/姿态一致性耦合起来，微调损失由一致性损失、小波频率保持损失和判别器损失组成。实验选用InterHand2.6M，是因为它具有多视角、单手/双手和身份差异，超分实验按采集对象划分训练与验证以检验跨对象泛化，三维重建使用test划分中的Capture0和Capture1、以20个视角和20帧优化并在其余帧评估；Goliath提供扫描网格和高分辨率图像，可用于更严格的几何评估，但仅有4名对象，因此复用在InterHand2.6M上训练的GIIF以验证跨数据集迁移。评价使用PSNR、LPIPS、SSIM、点到点网格距离P2P和顶点聚合不一致度，InterHand2.6M因缺少扫描网格而用高分辨率图像训练XHand生成伪GT网格；完整SRHand在InterHand2.6M上取得超分30.06/0.0302的PSNR/LPIPS、渲染29.88 PSNR和0.0362 LPIPS、2.16 mm P2P及0.0050不一致度，在Goliath上取得超分28.09/0.0495、渲染24.31 PSNR和0.0813 LPIPS、3.50 mm P2P及0.0069不一致度，在×16静态场景对比中以27.52 PSNR、0.0566 LPIPS和0.8858 SSIM显著优于SRGS的27.18、0.3872和0.7899，GIIF在×16手部超分中达到31.60 PSNR和0.0637 LPIPS，并在×8、×21.3、×32等连续倍率下保持最佳，这些结果支持法线几何条件、高分辨率显式网格和联合自适应微调的有效性。该方法可服务于VR/AR中可动画、可交互的高保真手部头像，未来可进一步降低对多视角采集和模板参数的依赖并拓展到更广义的人体或手物交互头像；其约束包括仍需多视角/姿态数据、Goliath对象数较少、MANO参数误差会明显影响三维重建质量。\n\n### 关键要点\n\n- GIIF将RDN提取的低分辨率图像特征与堆叠沙漏网络提取的MANO法线特征拼接，再通过连续坐标查询回归RGB，因此能够在×4到×32等任意倍率下生成手部图像。\n- GIIF训练结合L1损失、LPIPS感知损失和GAN损失，法线图提供手部关节与表面结构先验，对抗训练用于增强纹理锐度和照片真实感。\n- SRHand的显式表示基于三次细分的MANO网格，包含超过49,000个顶点和98,000个面，可表达皱纹、指甲和细微形状变化。\n- 方法在三维建模中引入均值纹理损失，弱化纹理颜色造成的外观变化，促使位移场学习真正的几何凹凸，而非把纹理误建模为形状。\n- 自适应微调利用重建出的三维网格反过来约束GIIF，使超分图像在不同视角和姿态下保持一致，同时通过小波损失保留高频细节。\n- InterHand2.6M实验按采集对象划分超分训练与验证集，三维重建使用Capture0和Capture1，并以20视角、20帧构建个性化手部头像。\n- Goliath数据集提供扫描网格和高分辨率真值图像，但只有4名对象，因此实验复用InterHand2.6M训练的GIIF，以检验跨数据集泛化和几何精度。\n- 完整SRHand在InterHand2.6M上将P2P误差降低到2.16 mm，渲染PSNR达到29.88、LPIPS达到0.0362，不一致度降至0.0050。\n- 与静态多视角超分方法相比，SRHand在×16倍率下取得27.52 PSNR、0.0566 LPIPS和0.8858 SSIM，尤其在感知质量和稳定性上优于SRGS。\n- 消融实验显示单独使用一致性损失会使纹理趋向均值并降低PSNR，加入小波频率保持损失后细节恢复，再加入判别器损失后P2P从3.09 mm降至2.16 mm。\n- 不使用准确GT模板参数时超分质量变化较小，但三维重建PSNR从29.88降至27.18，说明参数噪声主要约束几何重建而非图像超分。"
}