{
  "paper_id": "6bfb2b7203314484f9068e83b24d7694",
  "paper_title": "I2UV-HandNet: Image-to-UV Prediction Network for Accurate and High-fidelity 3D Hand Mesh Modeling",
  "paper_authors": [
    "Ping Chen",
    "Yujin Chen",
    "Dong Yang",
    "Fangyin Wu",
    "Qin Li",
    "Qingpei Xia",
    "Yong Tan"
  ],
  "publication_date": "",
  "publication_venue": "2021 IEEE/CVF International Conference on Computer Vision (ICCV)",
  "abstract": "从彩色图像重建高精度、高保真的3D人手，对于在人机交互和虚拟现实应用中复制逼真的虚拟手至关重要。由于多样的手部姿态和严重的遮挡，当前方法的结果在精度和保真度上有所欠缺。在本研究中，我们提出了I2UV-HandNet模型，用于精确的手部姿态与形状估计以及3D手部超分辨率重建。具体而言，我们提出了首个基于UV的3D手部形状表示。为了从RGB图像恢复3D手部网格，我们设计了AffineNet，以图像到图像翻译的方式从输入预测UV位置图。为了获得更高保真的形状，我们利用额外的SRNet将AffineNet输出的低分辨率UV图转换为高分辨率UV图。我们首次展示了基于UV的手部形状表示的表征能力。实验表明，所提方法在多个具有挑战性的基准上达到了最先进的性能。",
  "keywords": [
    "3D手部重建",
    "UV位置图",
    "手部姿态与形状估计",
    "网格超分辨率",
    "图像到图像翻译",
    "单视角RGB图像"
  ],
  "paper_institutions": [
    "IQIYI Inc.",
    "Wuhan University",
    "Technical University of Munich"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:26:16.346523Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n从单张彩色图像重建高精度且高保真的3D人手是虚拟现实与人机交互中再现逼真虚拟手的核心问题，但多样的手部姿态与严重遮挡使现有方法在精度和保真度上不足。早期研究多从稀疏3D关节点估计或回归参数化模型MANO的参数，后者因高维非线性回归破坏了原始像素空间的空间关系；近期工作如I2L-MeshNet用逐顶点1D热图保留部分空间信息，但其输出仍是离散3D表示。本文提出I2UV-HandNet，首次将UV位置图引入3D手部姿态与形状估计：AffineNet以图像到图像翻译方式从RGB输入直接预测UV位置图，其核心机制为仿射连接模块 A^i = f_up(f_ac(π(I_UV^{i+1}), E^{i+1}))，其中f_ac基于当前预测UV图中顶点坐标的2D投影执行类似STN的仿射变换，将编码特征对齐至UV空间后再与解码特征连接，从而解决RGB图像与UV位置图之间的坐标歧义；SRNet则将低分辨率UV位置图转换为高分辨率UV位置图，实现手部网格超分辨率重建。由于缺乏高保真手部表面监督数据，作者用激光扫描构建了SuperHandScan（SHS）数据集（6000个扫描，经边基上采样与ICP配准得到3093顶点、6152面片的密集网格），并采用分阶段训练策略：用FreiHAND等图像数据训练AffineNet、用SHS扫描数据训练SRNet，因为没有任何数据集同时提供MANO级和超MANO级网格标注；实验在4块Tesla V100 GPU上以PyTorch和Adam实现，AffineNet训练200轮（batch 128、学习率1e-4余弦衰减、输入3×256×256并做缩放/旋转/颜色通道置换增强），SRNet训练100轮（batch 512、学习率1e-3）。评测采用Pose/Mesh Error、PCK/PCV曲线下面积AUC、F@5mm/F@15mm以及超分辨率的PSNR/RMSE：在FreiHAND测试集上AffineNet达到Pose Error 0.72cm、Mesh Error 0.74cm、F@5mm 0.682，超过所有先前方法（使用额外数据时进一步提升至0.68/0.69），验证了UV表示与仿射连接的有效性；在HO3D上无额外数据时同样领先（Pose Error 0.99cm），且跨数据集评估仍具竞争力，证明其鲁棒性；SRNet在HIC上将PSNR从27.58提升至39.18（RMSE从28.12降至7.68），且下采样输出仍优于MANO拟合网格，验证了UV超分辨率表示的表征能力。未来方向包括将UV手部表示扩展到双手或手-物联合重建等更复杂任务，以及改造架构以支持稀疏/弱监督。实际部署中需应对多样姿态、遮挡与光照变化，而训练好的SRNet不依赖特定重建方法，可对任意粗手部网格进行超分辨率，适用范围广泛。\n\n### 关键要点\n\n- 首次将UV位置图表示引入3D手部姿态与形状估计，将3D手表面以图像形式表示，使网络能直接回归手部表面而无需依赖参数化模型先验或中间表示。\n- AffineNet采用类U-Net的编码-解码结构（ResNet-50骨干），以图像到图像翻译方式从单张RGB图像预测分层多尺度UV位置图，并从输出网格经预定义映射得到3D关节点。\n- 仿射连接模块f_ac基于当前预测UV图中顶点坐标的2D投影执行仿射变换，先对齐编码特征再与解码特征连接，有效缓解RGB图像与UV位置图之间的坐标歧义。\n- SRNet受SRCNN启发，输入输出均为UV位置图，将低分辨率UV图转换为高分辨率UV图，从而重建具有3093顶点的高保真手部网格，且可对任意来源的粗手部网格进行超分辨率。\n- 由于缺乏高保真手部表面数据，作者构建SuperHandScan（SHS）数据集：6000个激光扫描，通过边基上采样（778→3093顶点）与ICP配准生成密集网格及对应UV图用于监督SRNet训练。\n- 采用分阶段训练策略：用FreiHAND等图像数据集训练AffineNet、用SHS扫描数据训练SRNet，因为没有任何图像集同时提供MANO级与超MANO级网格标注。\n- 实现细节：4块NVIDIA Tesla V100 GPU、PyTorch、Adam优化；AffineNet训练200轮（batch 128、初始学习率1e-4余弦衰减、输入裁剪为3×256×256并做缩放/旋转/颜色通道置换增强），SRNet训练100轮（batch 512、学习率1e-3、UV图尺寸3×256×256）。\n- 在FreiHAND测试集上，AffineNet达到Pose Error 0.72cm、Mesh Error 0.74cm、F@5mm 0.682、F@15mm 0.973，超过Boukhayma、Zimmermann、Kulon、Moon等最先进方法；使用ObMan与YT-3D额外数据后进一步提升至0.68/0.69。\n- 在HO3D手-物交互数据集上，无额外数据时AffineNet优于所有先前方法（Pose Error 0.99cm）；在FreiHAND+ObMan+YT-3D组合数据上训练的跨数据集评估也超过在HO3D训练集上训练的对比方法，显示对遮挡与交互场景的鲁棒性。\n- SRNet在HIC数据集上的定量评估：输出高保真网格的PSNR达39.18（输入MANO拟合网格仅27.58）、RMSE降至7.68；即使将输出下采样回778顶点，其精度仍高于原始MANO拟合网格。\n- 消融实验表明：UV对齐、UV梯度对齐与网格对齐三种损失联合使用时性能最佳；使用仿射连接使姿态误差降低11.1%、网格误差降低9.8%（crop ratio为3/4时最佳）；三种UV展开形式的性能差异小于0.7%，方法对UV图设计鲁棒。\n- 未来工作可将UV手部表示扩展至双手或手-物联合重建等更复杂任务，或修改架构以支持稀疏/弱监督学习。"
}