{
  "paper_id": "db2b0ed414767f5476d8a82a060ef08d",
  "paper_title": "Authentic Hand Avatar from a Phone Scan via Universal Hand Model",
  "paper_authors": [
    "Gyeongsik Moon",
    "Rohan Joshi",
    "Chenglei Wu",
    "Takaaki Shiratori"
  ],
  "publication_date": "",
  "publication_venue": "2024 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)",
  "abstract": "面向AR/VR沉浸式体验，本文提出通用手部模型UHM，它能够高保真地表示任意身份的3D手部网格，并可通过短时间手机扫描适配为真实、可驱动的3D手部化身。与传统跟踪和建模分离的流程不同，UHM在单阶段中同时执行跟踪与建模，避免跟踪阶段误差在建模阶段累积，并使整体流程更简洁。论文还提出基于光流的图像匹配损失，为指甲、掌纹等显著区域提供语义对应，缓解跟踪与建模中的皮肤滑动问题。在适配阶段，方法冻结预训练UHM，利用其学到的身份与姿态先验，从约15秒手机扫描中拟合身份码、姿态和几何，并结合ShadowNet去除阴影与优化反照率纹理，生成具有个性化手形、骨骼和纹理的真实手部化身。\n",
  "keywords": [
    "通用手部模型",
    "手机扫描",
    "真实手部化身",
    "同步跟踪与建模",
    "线性混合蒙皮",
    "图像匹配损失",
    "光流",
    "皮肤滑动",
    "阴影去除",
    "个性化适配"
  ],
  "paper_institutions": [
    "Codec Avatars Lab, Meta"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:30:17.349976Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对AR/VR中需要保留手形、肤色、指甲装饰和纹身等身份信息的高保真可驱动手部化身，而传统通用手部模型通常将非刚性跟踪与统计建模分离、跟踪误差无法在建模阶段恢复，且HARP等手机扫描方法受限于底层MANO表达能力和单点光照假设的问题，本文提出UHM：相关研究涵盖MANO、NIMBLE、LISA、Handy等通用或隐式手部模型，以及依赖工作室多视角数据的个性化化身方法；UHM将跟踪与建模合并为端到端单阶段，基于线性混合蒙皮构建16K顶点、32K面的模板网格，由IDEncoder/IDDecoder组成的VAE学习32维身份空间，PoseEncoder/PoseDecoder估计关节旋转和姿态相关校正，核心机制可概括为 $\\mathrm{LBS}(\\vec V+\\Delta\\vec V^{id}+\\Delta\\vec V^{pose},\\mathrm{FK}(\\vec J+\\Delta\\vec J^{id},\\Theta),W)$，其中身份相关骨骼、顶点校正和姿态—身份相关顶点校正共同刻画骨长、粗细、肌肉隆起等差异。为解决ICP和掩码损失缺少语义对应的问题，论文先用中性姿态多视角图像生成每人的参考UV纹理，再用可微渲染和预训练RAFT光流网络计算渲染图到采集图的对应，最小化光栅化顶点与光流目标像素之间的L1距离，从而抑制指甲、掌纹等区域的皮肤滑动。训练后，适配管线冻结UHM，从单部iPhone 12约15秒、中性姿态并改变全局旋转的扫描中检测2D关键点、前景掩码、深度和MANO参数，拟合逐帧姿态、全局位姿和所有帧共享的身份码；ShadowNet以全局旋转、姿态、身份码和视线方向为输入，在UV空间回归带sigmoid激活的平滑阴影图，配合颜色校准图、L1/VGG损失和总变分正则化分解反照率与阴影，随后将除影图像展开、可见性加权平均、OpenCV补洞并联合微调纹理和ShadowNet。工作室数据集包含177个训练采集和7个未见身份测试采集，每采集约18K帧、平均170台相机，用于验证大规模多身份建模；MANO测试集的50次扫描、6个身份和DHM数据集的33K次扫描用于跨数据集泛化评估；新建的18段手机扫描（其中4段有同步工作室真值）和公开HARP数据的subject_1序列用于验证日常手机采集适配。几何上以毫米级P2S误差衡量表面表达能力，UHM在作者测试集、MANO测试集和DHM测试集上分别达到0.72、0.75和0.59 mm，低分辨率版本也达到0.73、0.76和0.61 mm，并在DHM单视角设置中以1.63 mm显著优于LISA的3.68 mm；化身上以PSNR、SSIM、LPIPS和P2S评估，作者手机测试集上UHM取得31.82、0.962、0.076和0.45 mm，优于HARP的29.89、0.952、0.092、2.04 mm和Handy的26.02、0.930、0.134、2.21 mm，在HARP测试集上也取得32.55、0.957、0.055。这些结果支持同步跟踪建模减少误差累积、高保真校正提升未见身份几何、直接纹理优化保留个人细节、ShadowNet改善复杂光照阴影等主要创新；消融显示图像匹配损失可降低多数纹理像素尤其拇指和掌纹处的光流范数，但手背等弱纹理区域可能失效，阴影本征分解仍存在歧义，且方法假设手部肤色大体均匀、扫描需覆盖中性姿态和充分旋转，15秒扫描约需2小时优化。未来可探索更鲁棒的弱纹理对应、复杂纹身/毛发下的阴影分解、更少视角或无深度传感器适配以及更快的实时化身创建，以服务AR/VR远程呈现、虚拟交互和手势驱动内容生成等真实场景。\n\n### 关键要点\n\n- UHM以3D姿态 $\\Theta$ 和32维身份潜码 $z^{id}$ 为输入，可生成任意身份和姿态的高保真手部网格，基础模板包含约16K顶点和32K面。\n- 方法在一个端到端阶段同时完成跟踪与建模，避免传统“先ICP/模板跟踪、再训练模型”流程中的跟踪误差累积，并缩短了整体管线。\n- UHM显式估计三类校正：身份相关骨骼校正 $\\Delta\\vec J^{id}$、身份相关顶点校正 $\\Delta\\vec V^{id}$，以及姿态和身份共同决定的顶点校正 $\\Delta\\vec V^{pose}$。\n- 图像匹配损失先为每名受试者构建中性姿态参考UV纹理，再用RAFT光流建立参考纹理渲染图与采集图的语义对应，并只把梯度回传到光栅化网格顶点。\n- 手机扫描适配使用iPhone 12深度数据、2D手部关键点检测器、RVM前景掩码和InterWild给出的MANO参数，在冻结预训练UHM的前提下优化姿态、全局位姿和共享身份码。\n- ShadowNet是在UV空间工作的全卷积网络，根据全局旋转、姿态、身份码和视线方向预测一通道阴影图，并通过总变分正则化鼓励阴影局部平滑。\n- 纹理优化将采集图像除以估计阴影后展开到UV空间，按可见性平均、补洞，再用L1和VGG损失联合优化反照率纹理并微调ShadowNet。\n- 训练数据包括177个工作室训练采集和7个未见身份测试采集，每个采集约18K帧、平均来自170台相机；MANO、DHM、新手机扫描和HARP数据分别用于跨数据集与适配评估。\n- 在P2S几何误差上，完整UHM在作者测试集、MANO测试集和DHM测试集上分别为0.72、0.75和0.59 mm，优于MANO、NIMBLE和Handy。\n- 在作者手机测试集上，UHM的PSNR、SSIM、LPIPS和P2S分别为31.82、0.962、0.076和0.45 mm，真实性和几何精度均优于HARP与Handy。\n- 消融表明图像匹配损失可显著降低拇指、掌纹等语义显著区域的光流范数，但手背等缺少明显纹理的区域可能仍不可靠；ShadowNet的阴影分解因本征歧义未给出定量指标。\n- 该方法要求约15秒手机扫描覆盖中性姿态和不同全局旋转，处理一段扫描约需2小时，相比HARP的6小时更短，但仍受肤色均匀假设、光照/阴影歧义和非实时优化限制。"
}