{
  "paper_id": "e55ef178dc3be573a6d97480ffd915fb",
  "paper_title": "Hand Avatar: Free-Pose Hand Animation and Rendering from Monocular Video",
  "paper_authors": [
    "Xingyu Chen",
    "Baoyuan Wang",
    "Heung-Yeung Shum"
  ],
  "publication_date": "",
  "publication_venue": "2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)",
  "abstract": "本文提出 HandAvatar，一种用于手部动画与渲染的新型表示，能够生成平滑组合的几何以及自遮挡感知的纹理。首先开发 MANO-HD 高分辨率网格拓扑以拟合个性化手形；随后将手部几何分解为逐骨骼刚性部件，并重组成对几何编码，得到跨部件一致的占据场。纹理方面提出自遮挡感知着色场 SelF：在 MANO-HD 表面铺设可驱动锚点以记录多种姿态下的反照率信息，同时设计有向软占据描述射线到表面的关系，并据此生成光照场，从而解耦姿态无关的反照率与姿态相关的光照。该方法仅需单目视频训练，即可实现自由姿态手部动画与渲染，外观保真度优异，并支持手部外观编辑。\n",
  "keywords": [
    "手部化身",
    "单目视频",
    "自由姿态动画",
    "神经渲染",
    "MANO-HD",
    "局部配对占据场",
    "自遮挡感知着色场",
    "反照率解耦",
    "光照估计",
    "体积渲染"
  ],
  "paper_institutions": [
    "Xiaobing.AI"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:17:25.717478Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对手部高度关节化、手指自遮挡与自接触频繁，而传统网格纹理流程依赖昂贵扫描和美术制作、现有神经渲染又难以同时处理复杂变形与关节自遮挡光照的问题，本文提出 HandAvatar。相关研究中，基于逆线性混合蒙皮的方法在自接触时容易出现一对多对应，部件感知方法又存在跨部件不一致，且尚无工作专门估计手部关节运动造成的自遮挡光照。HandAvatar 遵循逆图形学思想，将几何、反照率和光照解耦：先把 MANO 细分升级为含 12,337 个顶点、24,608 个面的 MANO-HD，并用 MLP 基于顶点位置编码和姿态预测逐顶点位移以拟合个性化手形；再构造局部配对占据场 PairOF，将手部分为 16 个逐骨骼刚性部件，在部件规范空间中用 PointNet 编码点云、法线和查询点，其核心机制为 α(b,q)=σ(max{Q_pair(D(b,q),D(b′,q)) : b′∈P(b)})，再由 α(q)=max_b α(b,q) 融合，其中 P(b) 只选择与部件 b 物理连接的局部配对，从而在连接处形成边界扩展的几何并集。纹理部分的 SelF 使用 MANO-HD 表面的重心锚点保存姿态无关反照率编码，并通过软化系数 τ 得到软占据，再计算视线方向上射线到达查询点之前的最大有向软占据，使光照 MLP 能感知哪些环境光被手指或手掌遮挡。实验选用 InterHand2.6M：PairOF 预训练使用全部右手标注，训练/测试样本量为 875,530/565,611，以利用现有 MANO 参数学习三维手部先验；端到端训练使用该数据集中的三个个性化单目视频序列，渲染分辨率为 256×256，设置每条光线 64 个查询点、4,096 个反照率锚点、4 个最近邻和 τ=0.05，所有评估姿态均为训练中未见的新姿态，因此可验证自由姿态泛化、个性化拟合和真实单目数据下的渲染能力。几何指标采用 IoU、Laplacian 平滑度和 Chamfer 距离，渲染指标采用 LPIPS、PSNR 和 SSIM；PairOF 在 MANO-HD 引导下达到 96.32% IoU、2.281 Lap. 和 7.151 Cham.，明显改善 COAP 的部件连接不平滑问题，完整 HandAvatar 在 test/Capture0 上达到 0.1035 LPIPS、28.23 PSNR、0.8941 SSIM，并在三个序列上均优于 SelfRecon 与 HumanNeRF，支持其自由姿态几何、自接触稳定性和自遮挡阴影建模的创新。该表示可用于虚拟人驱动、自由视点手部渲染以及光照、反照率和阴影编辑；主要约束是为节省计算只使用视线方向的有向软占据，可能产生视角依赖阴影，并且单目标注误差会诱导几何褶皱。未来可探索独立于视角的光照场、点光源等完整光照编辑、BRDF 高光建模以及更鲁棒的几何约束。\n\n### 关键要点\n\n- HandAvatar 是首个面向单目视频、显式建模关节自遮挡光照的神经手部渲染框架，可由手部姿态驱动自由姿态动画。\n- MANO-HD 将原始 MANO 的 778 个顶点、1,538 个面细分到 12,337 个顶点、24,608 个面，并兼容现有 MANO 标注数据。\n- 个性化手形不依赖形状参数 β，而是由 M_shape 根据顶点位置编码和姿态预测逐顶点位移，并通过轮廓 IoU 损失监督。\n- PairOF 将手部划分为 16 个逐骨骼刚性部件，把点云、法线和查询点变换到部件规范空间，再用 PointNet 提取几何编码。\n- 局部配对解码器只融合物理连接的两个部件，并用最大操作形成边界扩展的部件几何并集，以消除跨部件不一致和连接裂缝。\n- SelF 的反照率场在 MANO-HD 表面均匀铺设 4,096 个重心锚点，查询点通过 4 个最近锚点的逆距离插值获得反照率编码。\n- 有向软占据用 τ=0.05 软化二值占据，并取视线射线到达查询点前的最大软占据值，以描述射线与各关节部件的远近和遮挡关系。\n- 光照 MLP 以手部姿态、表面校准位置和 16 个部件的有向软占据为输入，输出标量光照值，从而与三通道姿态无关反照率解耦。\n- PairOF 预训练使用 InterHand2.6M 的全部右手标注，端到端阶段联合优化形状、占据、反照率、光照和锚点编码，训练损失包含 IoU、占据 MSE、LPIPS 和 L1 误差。\n- 在新姿态评估中，PairOF 达到 96.32% IoU，HandAvatar 在 test/Capture0 达到 28.23 PSNR、0.8941 SSIM 和 0.1035 LPIPS，三个序列均优于 SelfRecon 与 HumanNeRF。\n- 该方法支持按倍数调整光照、平移反照率均值，以及通过将特定部件的有向软占据置零来减弱或删除手掌、指缝阴影。\n- 方法的局限包括阴影可能依赖视线方向、尚难编辑或新增点光源、未建模 BRDF 高光，以及 InterHand2.6M 姿态标注误差可能在纹理损失训练后造成几何褶皱。"
}