{
  "paper_id": "efaa21f4acd8af0fe4fcf6cd66a16601",
  "paper_title": "Learning an Efficient Model of Hand Shape Variation from Depth Images",
  "paper_authors": [
    "Sameh Khamis",
    "Jonathan Taylor",
    "Jamie Shotton",
    "Cem Keskin",
    "Shahram Izadi",
    "Andrew Fitzgibbon"
  ],
  "publication_date": "2015-06",
  "publication_venue": "2015 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)",
  "abstract": "本文描述如何学习一个紧凑且高效的人类手部表面变形模型。该模型基于不同受试者以手部做出多种姿态时采集的含噪深度图像构建。作者用控制网格的Loop细分表示观测表面，控制网格则由学习到的参数化形状与姿态模型变形。模型同时刻画受试者特定形状和与受试者无关的姿态：手部形状被参数化为中性姿态平均网格与少量偏移向量的线性组合，随后使用标准线性混合蒙皮（LBS）进行关节运动以生成细分曲面的控制网格。作者定义了促使每个深度像素都能被模型解释的能量；光滑细分曲面使其能够从粗略初始化联合优化所有参数。合成与真实数据实验表明，仅需少量基成分即可表示手部形状变化。与包括PCA在内的方法相比，该模型在保持线性形状基效率的同时，表达能力显著提升。\n",
  "keywords": [
    "手部可变形模型",
    "深度图像",
    "线性混合蒙皮",
    "Loop细分",
    "线性形状基",
    "联合优化",
    "主成分分析",
    "手部姿态估计",
    "噪声鲁棒性"
  ],
  "paper_institutions": [
    "University of Maryland",
    "Microsoft Research"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:24:49.617867Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对人脸和身体可变形模型已较成熟、但尚无统计手部可变形模型的问题，论文指出现有方法依赖高质量完整扫描，而手部存在严重自遮挡、图像前景像素少、传感器噪声影响大且姿态空间广阔等困难。为此，作者提出从单台Kinect V2采集的短序列、稀疏且含噪的深度图中联合学习骨架驱动的手部 morphable 模型。模型以固定拓扑模板网格和21根骨骼为基础，用同一组K维形状参数β线性表示中性姿态的网格与骨骼：V(β)=Σ_{k=1}^{K}β_kV_k、L(β)=Σ_{k=1}^{K}β_kL_k；再由关节角、全局朝向和平移θ通过高效的标准线性混合蒙皮生成姿态控制网格，最后经Loop细分得到光滑三维曲面。学习目标由深度点位置与法向数据项、ARAP基函数平滑正则、形状先验、人体关节角边界以及蒙皮权重约束组成，并通过引入每受试者形状系数、每帧姿态、曲面对应点和ARAP旋转的提升能量，使用Ceres中的Levenberg–Marquardt优化并穿插离散对应更新，从粗略初始化实现全管线联合优化。实验采用50名受试者、每人约15个多样姿态；无噪声SYNTHETIC3D用于隔离检验模型表达能力，SYNTHETIC2.5D模拟固定深度相机的单视角可见性与遮挡，真实REAL数据则验证模型对缺失、飞行像素、多径干扰和噪声的鲁棒性。所有实验按30人训练、20人测试划分，以毫米级RMSE和MAE评估，真实数据更重视对离群点稳健的MAE。结果表明，仅K=1个形状成分就优于使用4或5个成分的PCA基线，增加成分后误差在约K=2至3后饱和，支持了“直接解释观测数据并联合优化形状、骨架、蒙皮和姿态”比逐人重建后做PCA更具表达力，同时保持线性形状基的存储与计算效率。推断出用户形状参数后，模型可烘焙为标准LBS网格并用于实时手部跟踪、自然3D交互和个性化动画等场景；但当前方法仍需粗略姿态初始化、多样姿态观测和单深度数据，模型分辨率较粗且未显式建模形状随姿态的变化，未来可探索跟踪中实时个性化、姿态相关形状、超分辨重建以及向人体或动物类别扩展。\n\n### 关键要点\n\n- 模型将中性姿态网格和骨骼分别表示为K个基矩阵的线性组合，并强制皮肤形状与骨骼形状共享同一组形状参数β。\n- 姿态参数θ包含关节角、全局朝向和平移，通过常见且高效的线性混合蒙皮将中性网格变形为特定姿态网格。\n- 姿态控制网格经Loop细分映射为光滑曲面，使深度点可以直接与最终曲面计算误差，并支持从形状到姿态的端到端联合优化。\n- 总能量结合位置与法向数据项、ARAP正则、形状先验、关节角物理边界以及蒙皮权重和为1且非负的约束。\n- 数据项先使用Cauchy鲁棒核，在参数接近合理解后切换为更鲁棒的Geman–McClure核，并对深度视线方向设置更高不确定度。\n- 优化通过提升能量消除形状、姿态和对应点中的内层最小化，再用Ceres的Levenberg–Marquardt处理稀疏问题，并以离散更新跳出对应点局部最优。\n- REAL数据由单台Kinect V2采集，包含50名受试者（17名女性、31名男性、2名儿童），每人平均选择15个多样手部姿态。\n- SYNTHETIC3D由Poser生成50只不同形状的手和每只手15个姿态并使用全部三维顶点；SYNTHETIC2.5D则经虚拟深度相机投影，仅保留直接可见点。\n- 实验在所有数据集上采用30人训练、20人测试，定量结果均报告于保持模型基参数固定的留出测试集。\n- PCA基线在REAL和SYNTHETIC2.5D上使用含均值共4个成分，在SYNTHETIC3D上使用5个成分；本文模型即使K=1也取得更低误差。\n- 受控噪声实验只向合成训练数据加入不同标准差的三维高斯噪声，以检验联合优化流程在噪声输入下的鲁棒性。\n- 当前方法依赖人工提供粗略姿态初始化和多样化姿态覆盖，且模型分辨率较粗，尚未显式表达由姿态引起的形状变化。"
}