{
  "paper_id": "b2240ee38ca9551dec61a5a36af7573c",
  "paper_title": "LISA: Learning Implicit Shape and Appearance of Hands",
  "paper_authors": [
    "Enric Corona",
    "Tomas Hodan",
    "Minh Vo",
    "Francesc Moreno-Noguer",
    "Chris Sweeney",
    "Richard Newcombe",
    "Lingni Ma"
  ],
  "publication_date": "",
  "publication_venue": "2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)",
  "abstract": "本文提出一种名为 LISA 的全能人类手部神经模型。该模型能够捕捉精确的手部形状与外观，泛化到任意手部主体，提供稠密表面对应，从自然场景图像中重建，并可轻松驱动动画。作者通过在大量带有粗略三维手部骨架姿态标注的多视角 RGB 图像序列上最小化形状和外观损失来训练 LISA。对于局部手部坐标中的三维点，模型独立预测其相对于每根手骨的颜色和符号距离，然后利用预测的蒙皮权重融合各手骨的预测结果。形状、颜色和姿态表示在设计上相互解耦，从而能够精细控制所选的模型参数。实验表明，LISA 能够从单目或多视角序列准确重建动态手部，其重建手部形状的质量明显优于基线方法。\n",
  "keywords": [
    "手部建模",
    "隐式表示",
    "符号距离场",
    "体积渲染",
    "蒙皮权重",
    "解耦表示",
    "三维手部重建",
    "手部动画"
  ],
  "paper_institutions": [
    "Institut de Robòtica i Informàtica Industrial, CSIC-UPC, Barcelona, Spain",
    "Reality Labs, Meta"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:18:24.313814Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对 MANO 等参数化手部网格分辨率低、缺少纹理坐标且难以表达精细几何与外观的问题，本文在人体隐式建模已能表示更细致形状、但手部关节化和未见姿态泛化仍缺乏研究的背景下，提出 LISA 神经手部模型。LISA 以 MANO 骨架定义姿态，学习从姿态参数 θ、形状潜码 β+ 和颜色潜码 γ 到连续隐式表示 ψ 的映射；三维查询点先通过 x_j=R_j^{-1}(x-t_j) 变换到各手骨局部坐标系，由独立 MLP 预测每根骨的 SDF 值 s_j 和颜色 c_j，再由额外 MLP 结合所有规范化点与 s_j 预测经 softmax 归一化的蒙皮权重 w_j，核心融合机制为 s=Σ_j w_j s_j、c=Σ_j w_j c_j，随后用 VolSDF 将 SDF 经 Laplace CDF 转为体密度并进行体积渲染。训练采用未公开发布的 InterHand2.6M 多视角数据，包含 27 名用户、5804 个多视角帧、约 131k 张 1024×667 图像，平均每帧约 22 个视角；该设置避免依赖大量高质量三维扫描，用于验证仅从带粗略骨架姿态和前景掩码的 RGB 序列学习可动画模型的能力。由于图像监督容易产生形状—纹理混淆且训练用户数有限，作者又用 3DH 数据集约 13k 个、来自 183 名用户的姿态手部扫描预训练几何先验，并按 150/33 用户划分训练/测试，以增强身份泛化和几何稳定性；点云重建在 MANO 测试集 50 个扫描和 3DH 测试集上评估，RGB 重建在带真实扫描的 DeepHandMesh 数据上评估。训练损失包括颜色 L1、Eikonal 正则、蒙皮权重 L1 和潜码正则，几何先验还使用表面零距离与法向损失；姿态在前 10% 训练步固定，随后优化以修正标注误差。指标包括双向 V2V/V2S 毫米误差、PSNR、SSIM 和 LPIPS，结果显示仅图像训练的 LISA-im 持续优于 NASA、NARF 和 VolSDF 等图像训练基线，几何先验进一步显著降低误差，例如 3DH 上 LISA-geom 的重建到扫描 V2V/V2S 为 0.83/0.43 mm，MANO 上为 0.36/0.16 mm；DeepHandMesh 单视角下 LISA-full 达到 3.84 mm V2V、3.68 mm V2S 和 25.43 PSNR，四视角下为 3.53/3.38 mm，支持了显式蒙皮融合、逐骨预测和几何先验的有效性。模型适用于虚拟现实、增强现实、人机交互、假肢设计和自然场景手部捕获，可处理部分被物体遮挡的图像，但推理依赖粗略前景掩码、二维关节点或三维姿态及相机标定，训练图像的手腕截断还会导致多余闭合面，优化约需 5 分钟；未来可探索时序一致性、去除姿态和掩码依赖、提升运行效率以及在保持泛化的同时增强高频纹理表达。\n\n### 关键要点\n\n- LISA 将姿态 θ、形状 β+ 和颜色 γ 映射为连续隐式函数，对任意三维点和观察方向返回符号距离与表面颜色。\n- 手部被近似为多根刚性手骨对应的部件集合，每根手骨都有独立的 SDF 预测 MLP 和颜色预测 MLP。\n- 查询点会先根据手骨刚体变换被反变换到各手骨局部坐标，再生成逐骨的几何与颜色预测。\n- 蒙皮权重网络同时接收各骨局部坐标和对应 SDF 值，输出 softmax 归一化权重，使梯度可以经权重回传到逐骨网络。\n- 与 NASA 选择最大占据率对应输出或 NARF 主要用规范化点学习权重不同，LISA 将 SDF 作为学习蒙皮权重的重要引导。\n- LISA 采用 VolSDF 渲染框架，将预测 SDF 通过 Laplace 分布 CDF 转换为体密度，再沿相机射线累积颜色。\n- InterHand2.6M 训练数据包含 27 名用户、5804 个多视角帧和约 131k 张图像，并提供粗略三维关节姿态；手部掩码由 Mask R-CNN 生成。\n- 3DH 数据集的约 13k 个三维扫描和 183 名用户用于预训练几何先验，通过表面点零 SDF 损失、法向损失、Eikonal 损失和权重监督缓解纯图像优化的几何歧义。\n- 点云重建实验使用双向 V2V 和 V2S 距离；LISA-im 在仅图像训练方法中表现最佳，加入几何先验后误差进一步显著下降。\n- 在 DeepHandMesh 的 RGB 重建中，LISA-full 在单视角设置下达到 3.84 mm V2V、3.68 mm V2S 和 25.43 PSNR，形状精度明显优于 NASA、NARF 和 VolSDF。\n- 从图像推理时需要粗略前景掩码和二维手部关节位置，多视角情况还使用相机外参；在单块 Nvidia Tesla P100 上优化约需 5 分钟，提取 128³ 网格约需 5 秒。\n- LISA 可在自然场景中重建被物体部分遮挡的手，但掩码造成的手腕闭合面、粗略姿态依赖和较慢优化速度仍是实际限制。"
}