{
  "paper_id": "33dc6f3c7f03c2711ec287111bcecfea",
  "paper_title": "LiveHand: Real-time and Photorealistic Neural Hand Rendering",
  "paper_authors": [
    "Akshay Mundra",
    "Mallikarjun B R",
    "Jiayi Wang",
    "Marc Habermann",
    "Christian Theobalt",
    "Mohamed Elgharib"
  ],
  "publication_date": "",
  "publication_venue": "2023 IEEE/CVF International Conference on Computer Vision (ICCV)",
  "abstract": "人类手部是我们与周围环境交互的主要媒介，因此其数字化是一个重要问题。尽管已有许多研究对手部几何进行建模，但对照片级真实外观的关注较少。此外，对于扩展现实和游戏等应用，实时渲染至关重要。本文提出首个能够实时照片级真实渲染手部的神经隐式方法。手部具有丰富纹理，并会发生强烈关节运动及姿态相关效应，因此该问题极具挑战；作者通过精心设计的方法实现了这一目标，包括在神经辐射场的低分辨率渲染上进行训练、使用三维一致的超分辨率模块，以及网格引导的采样与空间规范化。论文还展示了感知损失在图像空间中的新颖应用，这对准确学习细节至关重要。作者首次实现了实时照片级真实渲染人类手部的现场演示，同时建模姿态和视角相关的外观效应，并通过消融实验证明各项设计选择均优化了渲染速度与质量。\n",
  "keywords": [
    "神经隐式渲染",
    "手部建模",
    "神经辐射场",
    "实时渲染",
    "照片级真实感",
    "超分辨率",
    "姿态相关外观",
    "MANO"
  ],
  "paper_institutions": [
    "Max Planck Institute for Informatics",
    "Saarland University"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:30:05.845689Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文针对扩展现实、游戏、远程呈现和远程操作中急需可实时驱动的照片级真实手部数字人这一问题，指出已有参数化或显式手部模型（如 HTML、NIMBLE）受低维纹理空间限制而难以表现青筋、指甲、皱纹和自阴影等个体细节，神经隐式方法 LISA 虽能建模手部形状与外观却无法实时运行且缺少高频细节，而人体 NeRF 方法也因手部更强的自遮挡、自接触和关节运动而难以直接迁移。为此，LiveHand 以 MANO 粗网格作为代理，将三维采样点投影到网格表面并重参数化为纹理坐标 u、v 及有符号距离 h，再结合观察方向 d 和仅含关节与朝向的手部姿态 ξ，由浅层 MLP 学习核心映射 Hα: (u,v,h,d,ξ) → (c,f,σ)，其中 c 为颜色、f 为 29 维场景特征、σ 为密度；该表示配合 MANO 深度引导的近表面采样避免 NeRF 两次层级采样，先体渲染出 256×167 的低分辨率 RGB 与特征张量，再由 CNN 超分辨率网络三维一致地上采样到 512×334。训练使用公开 InterHand2.6M 的四名用户右手多视角序列，数据包含丰富动作、多视角标注和对应 MANO 网格，选择每段捕捉的最后 50 帧作为测试、其余用于训练，可在统一基准上验证新姿态泛化、身份重演和实时渲染能力；训练还加入逐相机增益与偏置颜色校准，并以 L2 重建损失和全图 VGG 感知损失同时监督低分辨率与超分辨率结果。在 RTX 3090 上以 PSNR、AlexNet LPIPS、FID 和 FPS 评估，完整方法取得 32.04 PSNR、25.73×10^-3 LPIPS、197.39 FID 和 45.45 FPS，整体优于 A-NeRF、重实现的 LISA、SMPLpix 与网格贴图基线；现场演示中单手 RGB 姿态跟踪约 10 毫秒、手部渲染平均约 20 毫秒，系统达到约 33 FPS，可将新动作迁移到多个已学习身份并保留视角相关着色、自阴影、皱纹和青筋等效果。消融进一步表明网格引导采样相比层级采样约快 5 倍，超分辨率模块约带来 2.4 倍加速，uvh 规范化比每骨多 MLP 方案约快 1.7 倍，而姿态条件和全图感知损失对恢复姿态相关效应及高频细节尤其关键。该方法适用于 VR/AR、游戏、远程协作和计算机辅助设计等实时场景，但仍依赖 MANO 网格及其拟合精度，且主要为个体特定模型，阴影与光照只能复现训练采集条件，不能在任意新光照下重打光；未来可端到端细化几何、构建可泛化的照片级真实隐式三维手部形变模型，并研究任意光照下的阴影建模。\n\n### 关键要点\n\n- LiveHand 被提出为首个可实时渲染照片级真实、可关节运动手部的神经隐式方法。\n- 方法使用 MANO 粗网格进行引导，将三维点转换为与姿态一致的 uvh 纹理空间，并显式输入手部姿态 ξ 和观察方向 d。\n- 手部 MLP 输出颜色、29 维场景特征和密度，使隐式场能够在粗网格之外学习皱纹、青筋等 MANO 难以表达的细节。\n- MANO 深度渲染被用于限定每条光线的采样范围，使采样集中在近似手部表面附近，从而省去 NeRF 的粗网络加细网络两次采样。\n- 体渲染首先生成低分辨率 RGB 图像和对齐的特征图，再由 CNN 超分辨率网络恢复全分辨率图像并保持三维一致性。\n- 训练目标结合 L2 重建损失与基于预训练 VGG conv1-conv5 特征的全图感知损失，并对低分辨率和高分辨率结果都施加监督。\n- 多视角颜色不一致通过学习每个相机的增益和偏置参数进行补偿。\n- 实验使用 InterHand2.6M 四名用户的右手序列，原始分辨率为 512×334，超分辨率分支从 256×167 上采样到训练分辨率。\n- 与基线相比，LiveHand 取得 32.04 PSNR、25.73 LPIPS（×1000）、197.39 FID 和 45.45 FPS，在保持实时性的同时具有最佳或接近最佳的感知质量。\n- 实时演示由单目 RGB 手部跟踪器和训练好的手部头像组成，跟踪约 10 毫秒、渲染约 20 毫秒，全系统约 33 FPS。\n- 消融显示去掉网格引导采样会降至 9.07 FPS，去掉超分辨率约为 19 FPS，而无姿态条件会削弱自阴影和皮肤皱纹等姿态相关效果。\n- 方法的主要约束是依赖 MANO 拟合质量且不能根据训练光照之外的任意光照生成阴影，未来方向包括端到端几何优化、可泛化隐式手部模型和重打光。",
  "available_templates": [
    "deep_read",
    "simple"
  ]
}