{
  "paper_id": "deb404a4fac7fb554df7818bf88177fa",
  "paper_title": "HTML: A Parametric Hand Texture Model for 3D Hand Reconstruction and Personalization",
  "paper_authors": [
    "Neng Qian",
    "Jiayi Wang",
    "Franziska Mueller",
    "Florian Bernard",
    "Vladislav Golyanik",
    "Christian Theobalt"
  ],
  "publication_date": "2020",
  "publication_venue": "ECCV 2020",
  "abstract": "从图像进行3D手部重建是计算机视觉与图形学中被广泛研究的问题，对虚拟现实和增强现实具有特别高的相关性。尽管多种3D手部重建方法利用手部模型作为强先验以消除歧义并获得更鲁棒的结果，但大多数现有模型仅考虑手的形状和姿态，而不对纹理进行建模。为填补这一空白，本文提出HTML——首个参数化人手纹理模型。该模型涵盖了手部外观变化的多个维度（例如与性别、族裔或年龄相关的变化），且数据采集仅需一台普通相机。实验表明，该外观模型可用于解决一系列具有挑战性的问题，例如从单幅单目图像进行3D手部重建。此外，该外观模型还可用于定义神经渲染层，从而支持基于自监督光度损失的训练。我们已公开该模型。",
  "keywords": [
    "手部纹理模型",
    "外观建模",
    "手部跟踪",
    "3D手部重建"
  ],
  "paper_institutions": [
    "Max Planck Institute for Informatics, Saarland Informatics Campus, Saarbrücken, Germany",
    "RWTH Aachen University, Aachen, Germany",
    "Technical University of Munich, München, Germany"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:36:32.539669Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n从图像重建3D手部是计算机视觉与图形学中广泛研究的问题，对虚拟/增强现实（VR/AR）中的沉浸式交互尤为重要；然而现有手部模型（如广泛使用的MANO）大多只建模形状与姿态而不建模纹理，基于投影的纹理获取方法只能恢复部分外观、易受跟踪误差影响并将光照效果烘焙进结果，而人脸领域的3D可变形模型（3DMM）已证明参数化外观模型的巨大价值。为此，本文提出首个数据驱动的参数化手部纹理模型HTML：使用普通相机（SONY 3DCreator应用）采集51名性别、年龄、族裔各异的受试者共102只手（左手镜像）的高分辨率扫描（每人约6分钟），经刚体SfM重建、RANSAC背景去除、MANO拟合与非刚性ICP精化（利用OpenPose提供的指尖与手腕先验对应）、UV纹理映射、五层拉普拉斯金字塔阴影去除与梯度域无缝拼接等规范化流程后，对向量化纹理（维度618,990）执行PCA，得到核心机制 t(α)=t̄+Φα（101维外观参数），将自然手部外观变化压缩为低维外观基，从而支持鲁棒的外观拟合并能从部分观测推断完整外观。该模型支撑两大应用：一是从单幅RGB图像获得个性化3D手部网格（以Boukhayma等方法初始化、基于轮廓的非刚性ICP精化、部分纹理提取、带Tikhonov正则的最小二乘外观参数估计）；二是将MANO与HTML组合为可微的纹理手部模型层，定义光度损失 L_photo=(1/|Γ|)·Σ‖render(M(β,θ,α))(u,v)−I(u,v)‖₂，实现自监督训练。评估方面，留一受试者协议下以MAD衡量的紧凑性、泛化性与特异性实验验证了阴影去除等设计选择的有效性；在FreiHAND数据集上基于PyTorch与PyTorch3D可微渲染器训练ResNet-34的结果显示，加入光度损失后MAVE为1.10cm（无该损失为1.14cm）、MAKE为1.11cm（对比1.14cm），与当时最优方法（1.09/1.10cm）相当，且额外推断出其他方法不具备的高分辨率完整手部纹理。未来可探索更高分辨率几何、非线性模型（如自编码器）、姿态相关纹理变化、光照与材质联合估计，以及自监督如何减少关键点标注需求；实际部署中需注意MANO网格较粗（778顶点）、训练假设单一固定光照、示例应用依赖绿幕简化分割等约束，而建模姿态相关外观则需要更复杂的采集配准装置与更大规模数据集。\n\n### 关键要点\n\n- HTML是首个数据驱动的参数化手部纹理模型，基于51名受试者（性别、年龄、族裔多样）共102只手的高分辨率扫描构建，与流行的MANO手部几何模型兼容并已公开提供。\n- 数据采集仅需普通相机（SONY 3DCreator应用），分别扫描手掌侧与手背侧（单侧约90秒、每人总计约6分钟），左手网格镜像后共102只右手用于建模。\n- 数据规范化流程包括：RANSAC平面拟合去除背景（距平面小于1cm且红绿通道差小于30的顶点被丢弃）、基于Mueller等深度跟踪方法的MANO拟合加非刚性ICP精化、UV纹理映射（约6.5%空洞以邻域inpainting填补）、五层拉普拉斯金字塔阴影去除、梯度域无缝纹理拼接。\n- 核心模型基于PCA：对协方差矩阵做特征分解后得到 t(α)=t̄+Φα，向量化纹理维度为618,990，外观参数α为101维，将自然手部外观变化压缩到低维外观基。\n- 非刚性ICP精化中引入由OpenPose自动获得的指尖与手腕先验对应，显著改善模板与扫描的对齐质量，避免拇指指甲缺失等纹理缺陷。\n- 紧凑性、泛化性（留一受试者协议、以MAD衡量）与特异性评估一致表明，使用阴影去除的模型在所有指标上均明显优于不使用阴影去除的版本。\n- 应用一：从单幅RGB图像个性化3D手部，流程为MANO形状姿态初始化（Boukhayma等方法）、基于轮廓的非刚性ICP精化（20次迭代、法向相似度阈值η=0.8）、完全可见三角形的部分纹理提取、带Tikhonov正则的最小二乘外观参数估计，最终得到无光照伪影的完整纹理。\n- 得益于低维PCA先验，模型对噪声或部分损坏的输入纹理具有鲁棒性，可估计出合理且完整的纹理；而直接将输入图像投影到网格的方法会产生严重错位与背景像素污染。\n- 应用二：提出纹理手部模型层，结合PyTorch3D可微渲染器定义自监督光度损失，在FreiHAND数据集上训练ResNet-34联合回归形状、姿态与纹理参数，训练假设单一固定光照条件。\n- 定量结果：带光度损失的MAVE为1.10cm、MAKE为1.11cm，不带时均为1.14cm，与当时最优方法（MAVE 1.09cm、MAKE 1.10cm）相当，同时额外获得其他方法不具备的高分辨率完整手部纹理。\n- 局限与约束：底层MANO网格较粗（778顶点）、线性PCA无法捕捉非线性外观变化、未建模姿态相关的纹理变化、光照与材质联合估计留待未来、示例应用中借助绿幕简化分割（可由专用手部分割方法替代）。\n- 未来方向包括使用更高分辨率网格并扩展MANO形状空间、探索非线性模型（如自编码器）、建模姿态相关纹理变化、光照估计，以及研究自监督如何减少关键点标注需求或改进姿态估计。"
}