{
  "paper_id": "d21ed89fba6e0f211b7c61a8ab156ae5",
  "paper_title": "Handy: Towards a high fidelity 3D hand shape and appearance model",
  "paper_authors": [
    "Rolandos Alexandros Potamias",
    "Stylianos Ploumpis",
    "Stylianos Moschoglou",
    "Vasileios Triantafyllou",
    "Stefanos Zafeiriou"
  ],
  "publication_date": "",
  "publication_venue": "2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)",
  "abstract": "近年来，随着虚拟现实与增强现实的兴起，大量研究聚焦于人体手部的建模、跟踪与重建。手因其能够表达人类行为，一直是人体中非常重要但极具挑战性的组成部分。目前，大多数最先进的重建与姿态估计方法依赖低多边形的MANO模型。除多边形数量低外，MANO模型仅用31名成年受试者训练，这不仅限制了其表达能力，还对姿态估计方法施加了不必要的形状重建约束。此外，手部外观在大多数手部重建方法中几乎未被探索和忽视。在本工作中，我们提出“Handy”，一个由超过1200名受试者组成的大规模人体手部形状与外观模型，并将其公开供研究社区使用。与现有模型不同，我们提出的手部模型在年龄、性别和族群多样性大的数据集上训练，克服了MANO的局限性，并能准确重建分布外样本。为创建高质量纹理模型，我们训练了一个强大的GAN，它保留高频细节并能生成高分辨率手部纹理。为展示所提模型的能力，我们构建了一个带纹理手部的合成数据集，并训练手部姿态估计网络从单张图像重建形状与外观。正如大量定量与定性实验所示，我们的模型被证明相对于最先进方法具有鲁棒性，即使在恶劣的“in-the-wild”条件下也能逼真地捕捉3D手部形状与姿态以及高频细节纹理。",
  "keywords": [
    "3D手部模型",
    "参数化形状与外观模型",
    "生成对抗网络（GAN）",
    "手部姿态估计",
    "单图像重建",
    "合成数据集",
    "PCA形状模型",
    "虚拟现实与增强现实"
  ],
  "paper_institutions": [
    "Imperial College London",
    "Cosmos Designs Ltd"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:36:10.471293Z",
  "template_tag": "simple",
  "summary": "### 摘要\n针对现有3D手部重建与姿态估计方法过度依赖低多边形（778顶点）、仅由31名20-60岁成年人训练的MANO模型，导致形状表达力受限、儿童等分布外样本重建易出错，且手部外观建模长期被忽视（现有纹理模型HTML仅51名受试者、基于PCA的低分辨率UV纹理生成结果模糊）的问题，本文提出首个大规模参数化手部形状与外观模型“Handy”。该模型基于在伦敦科学博物馆101天内用3dMD四相机结构光立体系统采集的1208名受试者（年龄1-81岁、53%男/47%女、多族群，含360余名12岁以下儿童与100名60岁以上老人）的高分辨率带纹理扫描（原始约30000顶点）构建，其人口多样性专门用于克服MANO的年龄与族群局限并验证分布外泛化能力。形状模型通过多视角渲染与MediaPipe 2D关节检测、线性三角化提升至3D、模板姿态拟合及NICP稠密配准，归一化至标准张开手掌姿态后用PCA构建线性形状基，核心机制为 B_s(β)=T+Σ_{i=0}^{n_c} U_i β_i（T为平均手形，U为前n_c个主成分），再与姿态校正混合形状B_p(θ)及线性混合蒙皮组合为关节化模型 M(β,θ)=W(T_p(β,θ),J(β),θ,W)，支持778顶点（兼容MANO/SMPL）与8407顶点高分辨率两种模板；外观模型则采用style-based GAN（Alias-free GAN，学习率0.001、正则化权重γ=50）在UV空间建模高分辨率纹理，以保留皱纹、静脉、指甲油等PCA无法捕捉的高频细节，训练前先经PCA去除烘焙阴影并做亮度、gamma与色调校正。为验证模型能力，作者用GAN生成30000张纹理图像，结合ShapeNet物体、SMPL身体与多样光照/相机配置构建合成数据集（旨在弥合合成与真实图像的域差距），训练基于ResNet50编码器的回归网络从单张图像联合重建形状、姿态与纹理，损失涵盖潜码L2、3D顶点、UV L1、可微渲染像素L1与LPIPS感知损失，并用“in-the-wild”图像对纹理潜码做测试时优化后微调网络。实验指标与结果包括：紧凑性上第5主成分即超90%方差（MANO需第9成分）；20名儿童手部逐顶点误差由MANO的0.77mm降至0.21mm（n_c=30）；特异性误差优于MANO约2.5mm；纹理重建上Handy-GAN的L1为0.47×10⁻²、LPIPS为0.010，显著优于HTML（2.14、0.092）与Handy-PCA（1.44、0.065），且能重建白癜风等严重颜色不连续纹理；FreiHand基准上MPVPE/MPJPE为7.8/7.8mm、F@5mm为0.654、F@15mm为0.971，超过现有基于MANO的最先进方法，且用本文合成数据训练（8.8mm）优于用Obman训练（9.9mm），验证了合成数据集弥合域差距的作用；点云重建上R2S/S2R达0.11/0.19mm（n_c=30），优于隐式模型LISA（0.64/0.58mm）。未来方向包括更逼真的合成数据生成与更广泛人群及纹理覆盖；该模型适用于VR/AR个性化外观重建、手-物交互检测与行为分析等真实场景，但受扫描光照条件（需预处理去阴影）、GAN训练数据有限及合成-真实域差距等约束。\n\n### 关键要点\n- 提出Handy——首个由超过1200名受试者（年龄1-81岁、性别均衡、多族群）3D扫描构建的大规模参数化手部形状与外观模型，并公开供研究社区使用。\n- 形状模型核心机制为PCA线性形状基 B_s(β)=T+ΣU_iβ_i，结合姿态校正混合形状与线性混合蒙皮构建关节化模型，同时提供778顶点（兼容MANO/SMPL）与8407顶点高分辨率两种模板。\n- 数据在伦敦科学博物馆用3dMD四相机结构光立体系统于101天内采集1208名受试者（含360余名12岁以下儿童与100名60岁以上老人），原始扫描约30000顶点，人口多样性专门用于克服MANO的年龄与族群局限。\n- 稠密配准流程为：多视角渲染后用MediaPipe检测2D关节、线性三角化提升至3D、拟合模板姿态、再用NICP非刚性最近点迭代算法完成稠密配准，最后归一化到标准张开手掌姿态。\n- 外观模型采用style-based GAN（Alias-free GAN）替代低频PCA域建模UV纹理，训练使用较小学习率0.001与正则化权重γ=50，可保留皱纹、静脉、指甲油等高频细节。\n- 纹理预处理先对UV纹理做PCA并减去主要描述阴影的成分以去除烘焙阴影，再经亮度提升、gamma校正与色调微调映射到更自然的颜色。\n- 构建含30000张GAN生成纹理的合成数据集，结合ShapeNet物体、SMPL身体与多样光照/相机配置，旨在弥合合成与“in-the-wild”图像间的域差距。\n- 回归网络基于ImageNet预训练的ResNet50编码器，分支回归姿态、形状潜码、纹理潜码w与相机参数(s,t)，训练损失包括潜码L2、3D顶点L2、UV L1、可微渲染像素L1与LPIPS感知损失。\n- 儿童手部（<12岁）逐顶点重建误差从MANO的0.77mm降至Handy（n_c=30）的0.21mm，验证了大规模年龄多样性数据对分布外形状重建的关键作用。\n- 纹理重建上Handy-GAN的L1为0.47×10⁻²、LPIPS为0.010，大幅优于HTML（2.14、0.092）与Handy-PCA（1.44、0.065），并能重建白癜风等严重颜色不连续的手部纹理。\n- 在FreiHand基准上Handy达到MPVPE 7.8mm、MPJPE 7.8mm、F@5mm 0.654、F@15mm 0.971，超过基于MANO的最先进方法；用本文合成数据训练（MPVPE 8.8mm）优于用Obman数据训练（9.9mm），证明合成数据集有效弥合域差距。\n- 点云重建实验中，Handy（n_c=30）在MANO数据集上R2S为0.11mm、S2R为0.19mm，优于隐式模型LISA（0.64/0.58mm）与原始MANO（2.90/1.52mm）。"
}