{
  "paper_id": "de56bbb3051465466e927ca28d05e125",
  "paper_title": "HARP: Personalized Hand Reconstruction from a Monocular RGB Video",
  "paper_authors": [
    "Korrawe Karunratanakul",
    "Sergey Prokudin",
    "Otmar Hilliges",
    "Siyu Tang"
  ],
  "publication_date": "",
  "publication_venue": "2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)",
  "abstract": "本文提出HARP（HAnd Reconstruction and Personalization），一种以手部短单目RGB视频为输入、重建兼具高保真外观与几何的个性化手部化身的方法。与神经隐式表示的主流趋势不同，HARP使用基于网格的参数化手部模型、顶点位移图、法线图和反照率建模手部，表示本身不包含神经组件。实验表明，这种显式表示使手部化身创建真正可扩展、鲁棒且高效。HARP通过梯度下降从手持手机拍摄的短序列优化得到，可直接用于需要实时渲染的AR/VR应用。为此，作者设计实现了阴影感知的可微渲染方案，对手部运动中常见的高自由度关节运动、自阴影以及复杂光照条件具有鲁棒性，并可泛化到未见姿态和新视角，生成照片级真实的手部动画。此外，学习到的HARP表示可用于改善挑战性视角下的3D手部姿态估计质量。在外观重建、新视角与新姿态合成、3D手部姿态精修上的深入分析验证了其关键优势：它是一种AR/VR就绪、具有更高保真度和可扩展性的个性化手部表示。\n",
  "keywords": [
    "个性化手部重建",
    "手部化身",
    "单目RGB视频",
    "显式表示",
    "可微渲染",
    "自阴影",
    "反照率图",
    "法线图",
    "新视角合成",
    "姿态精修",
    "AR/VR"
  ],
  "paper_institutions": [
    "ETH Zürich"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:23:57.846687Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文针对AR/VR中需要从普通用户易获取的素材创建逼真、可动画、可实时渲染的个性化数字手，而现有PCA纹理模型表达受限、神经隐式或NeRF方法依赖多视角采集与大量数据、计算昂贵且在高自由度关节和自阴影下容易模糊或将阴影烘焙进纹理的问题，提出HARP。方法以MANO为几何骨干，将模板线性细分至3093个顶点，并使用网格、顶点位移、UV反照率和法线图等全显式表示，核心几何机制为 V=S(M(γ,β))+D，其中M是MANO的姿态与形状函数，S是网格细分函数，D是个性化顶点位移。渲染阶段采用可微光栅化、环境光与无高光Phong漫反射模型，并通过阴影映射、平滑Sigmoid可见性和百分比渐近滤波计算V(x,m)，以解耦手指与手掌之间的自阴影。系统以METRO的逐帧手部预测为初始化，利用分割掩模和RGB图像，通过轮廓、初始姿态、顶点偏移、Laplacian、法线一致性、ARAP等几何项，以及像素L1、VGG感知损失、反照率与法线平滑等外观项，分几何优化、联合优化和外观优化三阶段求解，在单张Nvidia 3090上平均约80分钟。实验数据包括作者用手机在普通办公室采集的4名受试者、每人750训练帧与600测试帧的手部外观数据，2名纹身受试者的分布外序列，1名受试者在单一主光不同方向下的6组强阴影序列，Blender Cycles渲染的2名合成受试者序列，以及InterHand2.6M的500帧单视角序列；这些设置分别验证消费级硬件采集、非标准纹理、强阴影、精确姿态真值和跨数据集鲁棒性。评估采用IoU、L1、LPIPS、MS-SSIM和PA-MPVPE；HARP在自采训练集上达到0.929 IoU、0.018 L1、0.071 LPIPS和0.902 MS-SSIM，在InterHand2.6M、新视角与新姿态合成中均优于基线，在纹身序列上取得0.012 L1和0.080 LPIPS，显式自阴影建模改善L1、LPIPS和MS-SSIM，已知外观冻结时合成数据PA-MPVPE从METRO的6.12mm降至5.65mm。这些结果支持显式解耦几何、外观与阴影能够从短单目视频构建高保真、可动画、可导出标准图形管线的手部化身。未来方向包括环境贴图、反弹光、更高分辨率纹理和更快优化；其实际应用面向AR/VR中的个性化手交互，但受单主光源、无高光、视角覆盖不足、姿态初始化和分割掩模质量等约束。\n\n### 关键要点\n\n- HARP输入一段手持手机拍摄的短单目RGB视频和粗略姿态形状初始化，输出带UV反照率与法线图的个性化手部网格。\n- 其表示完全基于显式网格、顶点位移、反照率图和法线图，避免为每个身份训练MLP或神经隐式颜色场。\n- MANO模板被线性细分，顶点数从778增加到3093，以表达更细的个性化几何，并可使用从SMPLX截取到肘部的手臂模板。\n- 个性化几何通过沿顶点法线的主体专属位移D实现，公式为V=S(M(γ,β))+D，同时保留参数化模型的可动画能力。\n- 可微渲染器使用环境光和无高光Phong漫反射项，经验上采用一个主光源以平衡计算成本与渲染质量。\n- 自阴影通过从光源视角生成深度缓冲、计算逐点可见性V(x,m)并使用PCF柔化阴影来实现，且对几何和外观均可微。\n- 优化分为纯几何、几何外观联合和纯外观三个阶段，使用Adam并结合轮廓、网格正则、像素L1、VGG感知损失及纹理平滑约束。\n- 自采手部外观数据集包含4名受试者，每人750训练帧和600测试帧，图像默认缩放为448×448，掩模由Unscreen获得。\n- 在自采训练集上，HARP的IoU、L1、LPIPS和MS-SSIM分别为0.929、0.018、0.071和0.902，整体优于S2Hand、HTML、NHA和NIMBLE。\n- 纹身等分布外外观实验中，HARP取得0.012 L1、0.080 LPIPS和0.897 MS-SSIM，而PCA外观空间会丢弃训练分布外的纹身细节。\n- 合成数据姿态精修实验中，已知并冻结外观时PA-MPVPE从METRO的6.12mm降至5.65mm，说明外观渲染可辅助姿态优化。\n- 方法在缺少侧视视角、初始化姿态与掩模不对齐、分割错误或存在多光源、高光、反弹光等条件下可能失败或受限。"
}