{
  "paper_id": "4f8d68b0d2344be1964eaef859e77750",
  "paper_title": "PALM: A Dataset and Baseline for Learning Multi-Subject Hand Prior",
  "paper_authors": [
    "Zicong Fan",
    "Edoardo Remelli",
    "David Dimond",
    "Fadime Sener",
    "Liuhao Ge",
    "Bugra Tekin",
    "Cem Keskin",
    "Shreyas Hampali"
  ],
  "publication_date": "",
  "publication_venue": "2026 International Conference on 3D Vision (3DV)",
  "abstract": "人类抓握物体、使用手势传递信号以及通过触摸分享情感的能力都源于手的独特功能。然而，由于复杂的几何、外观和关节运动，尤其在无约束光照和视角有限的情况下，从图像创建高质量个性化手部化身仍然具有挑战性。相关进展还受到数据集限制：现有数据缺乏同时提供精确三维几何、高分辨率多视角图像和多样化受试者的联合采集。为此，本文提出 PALM，一个包含来自263名受试者的1.3万份高质量手部扫描和9万张多视角图像的大规模数据集，覆盖肤色、年龄和几何方面的丰富差异。为展示其效用，本文进一步提出基线模型 PALM-Net，通过基于物理的逆渲染学习多受试者手部几何与材质属性先验，从而实现逼真、可重光照的单图像手部化身个性化。PALM 的规模和多样性使其成为手部建模及相关研究的重要真实世界资源。\n",
  "keywords": [
    "手部数据集",
    "多受试者手部先验",
    "三维手部扫描",
    "多视角RGB",
    "PALM-Net",
    "基于物理的逆渲染",
    "手部化身",
    "单图像个性化",
    "重光照",
    "MANO",
    "神经辐射场"
  ],
  "paper_institutions": [
    "Meta Reality Labs",
    "ETH Zürich",
    "Max Planck Institute for Intelligent Systems, Tübingen"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:19:49.457570Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对从图像构建高质量、个性化、可驱动手部化身时面临的复杂几何、外观、关节变形以及无约束光照、视角有限等问题，论文指出现有手部数据集通常受试者数量少、缺少真实精确扫描、依赖合成数据或不同时具备高分辨率多视角RGB与三维几何，而MANO、InterHand2.6M、Handy等模型和数据也分别受限于扫描规模、纹理材质或数据不公开；为此作者构建PALM并提出PALM-Net。PALM采用商用3dMD手部扫描仪和固定光照、固定相机配置，因为主动立体摄影测量可提供亚毫米级扫描，标定多视角图像可支持几何与外观的一致对齐，其规模与多样性则用于验证可泛化的通用手部先验；数据集包含263名受试者（131名男性、132名女性）、约50种预定义右手手势、9万张分辨率为2448×2048的RGB图像和1.3万份高质量扫描，受试者年龄为21至70岁，肤色包括38%中等、27%深色、20%棕褐色和15%浅色。标注流程用在InterHand2.6M预训练并在1万张PALM图像上微调的U-Net检测二维关键点，再经RANSAC三角化得到三维姿态；MANO注册结合二维/三维关键点、分割掩码和扫描监督，分两阶段先优化受试者形状与姿态再冻结形状优化姿态，最终关键点在10毫米阈值下召回率为95%，MANO注册相对三维关键点平均拟合误差为5.3毫米。PALM-Net以NeRF体渲染和MANO/SNARF逆线性混合蒙皮为基础，将不同姿态和受试者的三维点映射到共享规范空间，并用形状网络、辐射场网络和材质网络分别建模SDF导出的不透明度、辐射颜色以及反照率、粗糙度、金属度，规范空间点采用哈希网格编码；其核心物理渲染机制可概括为 C_pbr(r) ≈ Σ_i w^(i) BRDF(d, d̄^(i), α, r, m, n) L_i(x, d̄^(i)) / pdf(d̄^(i))，其中入射光照由辐射场和球谐高斯表示的环境图共同决定。训练时为每名受试者优化独立的形状潜码和外观潜码，并因采集环境一致而在所有受试者间共享同一环境光照，从而把光照与手部固有外观解耦；总损失包括辐射场RGB、PBR RGB、分割、扫描法线、Eikonal、LPIPS、Laplacian和潜码正则等项。单图像个性化时冻结PBR先验网络权重，仅优化形状码、外观码和环境图，以缓解单目深度歧义、自遮挡和光照歧义。实验在三类数据上进行：PALM用于训练先验；InterHand2.6M真实数据选取12个序列、每序列两个视角并均匀采样20帧，以首帧训练个性化模型，检验真实图像和新姿态泛化；HARP relit合成数据用Blender渲染，采用新MANO形状、DART纹理和HARP姿态，并为训练与评估设置不同环境图，以受控方式检验新环境、新姿态重光照；互联网野外图像仅作定性验证。评价指标为PSNR、SSIM和LPIPS，在InterHand2.6M新姿态、相同环境设置下，PALM-Net取得12.01、0.84和0.15，全部优于Handy、HARP和UHM；在合成数据的新环境、新姿态设置下取得13.39、0.78和0.35，其中PSNR和SSIM领先，并呈现更可信的重光照效果。消融显示3dMD法线监督可将LPIPS从0.18改善到0.15并减少胡椒状伪影和漂浮物，环境光照优化可将PSNR从16.14提升到16.74、SSIM从0.79提升到0.81、LPIPS从0.229降至0.222，甚至灰度输入也能借助外观先验恢复合理反照率，这些结果支持扫描监督、材质分解和共享环境约束的有效性。该方法可用于虚拟交互、游戏和远程呈现等真实场景，但当前数据主要为固定棚拍光照下的右手和预定义手势，单图像优化仍受遮挡、深度歧义和未知光照限制；未来可利用公开的PALM进一步探索双手、手物交互、动态动作以及更强的野外光照泛化模型。\n\n### 关键要点\n\n- PALM包含263名受试者、9万张高分辨率多视角RGB图像和1.3万份3dMD手部扫描，并提供对应的MANO注册。\n- 采集系统包含7台RGB相机和14台单色机器视觉相机，RGB分辨率为2448×2048，所有受试者在相同光照和相机配置下采集。\n- 每名参与者执行约50种预定义右手手势，覆盖张开手、捏合、握拳和精细手指运动，扫描由主动立体摄影测量重建。\n- 数据集在年龄、身高、肤色和手形上具有明显多样性，其中深色和中等肤色合计占65%，有助于学习跨身份手部外观。\n- PALM-Net由形状网络、辐射场网络和材质网络组成，输出几何不透明度、表面法线、反照率、粗糙度和金属度。\n- 方法利用MANO和SNARF将变形空间点映射到共享规范空间，并使用独立的形状潜码与外观潜码表示不同受试者。\n- 基于物理的逆渲染将手部材质与球谐高斯环境图分离，训练时所有受试者共享环境图，个性化时再优化输入图像对应的环境图。\n- 单图像个性化阶段冻结先验网络，仅优化形状码、外观码和环境光照，使模型可在未知光照下恢复可关节驱动、可重光照的手部化身。\n- 在InterHand2.6M上，PALM-Net取得PSNR 12.01、SSIM 0.84、LPIPS 0.15，整体优于Handy、HARP和UHM。\n- 在新环境、新姿态的合成评估中，方法取得PSNR 13.39和SSIM 0.78，并在定性结果中产生更真实的重光照手部图像。\n- 法线监督和环境图消融分别证明扫描法线能减少几何伪影，显式光照建模能提高输入图像拟合与重光照能力。\n- 方法的主要限制包括单目输入的深度歧义和自遮挡、训练数据集中于右手与棚拍固定光照，以及个性化需要优化求解。"
}