{
  "paper_id": "95ff8519a456d5774d9621804d0eac5f",
  "paper_title": "NIMBLE: A Non-rigid Hand Model with Bones and Muscles",
  "paper_authors": [
    "Yuwei Li",
    "Longwen Zhang",
    "Zesong Qiu",
    "Yingwenqi Jiang",
    "Nianyi Li",
    "Yuexin Ma",
    "Yuyao Zhang",
    "Lan Xu",
    "Jingyi Yu"
  ],
  "publication_date": "2022年7月",
  "publication_venue": "ACM Transactions on Graphics, Vol. 41, No. 4, Article 120",
  "abstract": "新兴元宇宙应用需要可靠、准确且照片级真实的人手再现，以像物理世界中一样执行复杂操作。真实人手是骨骼、肌肉、肌腱与皮肤之间最复杂的协调结构之一，但现有技术普遍只对手部骨骼建模。本文提出 NIMBLE，这一新型参数化手部模型补入了缺失的关键组件，将三维手部模型提升到新的真实感水平。作者首先在近期的磁共振手部数据集 MRI-Hand [Li et al. 2021] 上标注肌肉、骨骼和皮肤，然后将体积模板手注册到数据集中的不同姿势与受试者。NIMBLE 由20块以三角网格表示的骨骼、7组以四面体网格表示的肌肉以及一个皮肤网格构成。通过迭代形状注册与参数学习，模型进一步生成形状混合变形、姿势混合变形和关节回归器。论文展示了 NIMBLE 在建模、渲染和视觉推断任务中的应用。通过强制内部骨骼和肌肉符合解剖学与运动学规则，NIMBLE 能够以空前真实感将三维手动画到新姿势。为建模皮肤外观，作者进一步构建光度采集系统 HandStage，获取高质量纹理与法线贴图以表现皱纹和掌纹。最后，NIMBLE 还可通过合成丰富数据或直接作为推断网络中的可微分层，促进基于学习的手部姿态与形状估计。\n",
  "keywords": [
    "手部模型",
    "网格注册",
    "纹理",
    "混合蒙皮",
    "参数化学习"
  ],
  "paper_institutions": [
    "上海科技大学，中国",
    "Deemos Technology，中国",
    "克莱姆森大学，美国",
    "DGene Digital Technology，中国"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:26:43.233698Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对元宇宙中高保真交互手部需求，而现有 MANO 主要建模外皮、PIANO 虽有解剖学骨骼却缺少肌肉与皮肤协同的问题，论文提出 NIMBLE：一个由骨、肌肉和皮肤组成的非刚性参数化手部模型，核心形式为 N(θ,β,α)={G(θ,β),A(α)}，其中几何由 G(θ,β)=LBS(W,J_p(β),θ,T_p(θ,β)) 驱动。研究在 MRI-Hand 数据集（35人、50种姿势、200个MRI体）原有骨骼与25个关节标注基础上，补充肌肉手工掩膜和 Otsu 皮肤分割，经 Marching Cubes 得到粗糙网格；模板将24个主要肌群按功能聚合为7组，包含20块骨三角网格、7组肌肉四面体网格和皮肤网格，共14970个顶点。注册采用姿势初始化加迭代细化，能量项整合几何、正则、Neo-Hookean 弹性、附着约束和内外碰撞，以兼顾姿态准确与肌肉弹性；参数学习分姿势、形状、参数三阶段交替进行，并通过耦合惩罚避免组织穿插。为弥补 MRI 姿势有限，又将 MANO 的1554个扫描经拓扑迁移用于姿势增强，同时用形状正则约束内部结构。外观方面，HandStage 采集20只手的8192×8192漫反射、法线和高光贴图，并加入18个在线资产共38个纹理，用 PCA 建立 k=10 的外观模型，再在 Blender Cycles 中以 HDRI 光照和布料模拟渲染皱纹。实验基于 PyTorch 与 RTX 3090，注册结果多数在约2mm内，骨87%顶点小于1mm、肌肉65%小于1mm、MANO皮肤平均误差1.09mm；形状留一法全空间最低约0.6mm，姿势空间15、25、30个成分分别表达83%、92%、95%变化；与 MANO 比较，姿势增强后在 MRI 与 MANO 测试集平均误差2.15mm，低于 MANO 的2.39mm，骨-肌肉-皮肤消融也全部优于骨-皮肤模型；RGB推理在 FreiHAND 上 PA MPJPE 为9.4mm，虽因25个解剖关节与数据集21个关键点定义不同而未超过 I2L-MeshNet，但可恢复内部结构并真实渲染。该模型适用于动画、VR/AR、合成数据、点云/MRI/RGB手部姿态形状估计和跟踪，约束包括 MRI 肌肉标注不完整、采集姿势有限、仅右手、外观推理假设固定光照、碰撞项主要处理小规模穿透；未来可加入肌腱韧带、显式骨肌皮耦合、FEM次级变形、动态皱纹、双手与物体交互及高质量合成数据集。\n\n### 关键要点\n\n- NIMBLE 是同时包含骨骼、7组肌肉、皮肤和参数化外观的解剖学参数化手模型，并可通过姿势、形状和外观参数生成新的数字手。\n- 为兼顾计算与渲染效率，模型将人手约24个主要肌群按功能和物理属性聚合为7个肌群，同时保留主要解剖意义。\n- 数据构建基于 MRI-Hand 的200个手部MRI体，论文补充标注肌肉与皮肤，并重建骨、肌肉、皮肤网格及关节信息。\n- 注册流程先用简化 LBS 和逆运动学完成姿势初始化，再用含几何距离、法线一致性、正则化、Neo-Hookean弹性、附着和碰撞惩罚的能量函数迭代细化。\n- 参数学习通过姿势阶段、形状阶段和参数阶段交替优化关节姿态、PCA形状空间、关节回归器、蒙皮权重和姿势混合变形。\n- 为扩展姿势变化，论文将 MANO 的1554个原始扫描拓扑迁移到 NIMBLE，并在内部几何弱监督时加入形状正则，防止骨和肌肉退化为平均模板。\n- HandStage 采集20只手的毛孔级漫反射、法线和高光贴图，结合18个在线纹理资产构成38个外观样本，并使用10个PCA主成分生成参数化纹理。\n- 注册评估显示骨、肌肉和皮肤大多能在1至2mm误差内匹配目标，MANO扫描皮肤平均误差为1.09mm，验证了多阶段物理注册的精度。\n- 模型比较中，姿势增强后的 NIMBLE 在 MRI 与 MANO 测试集上的平均顶点误差为2.15mm，优于 MANO 的2.39mm，并能保持解剖合理的内部变形。\n- 加入肌肉层的消融模型在 MRI 骨、MRI皮肤和 MANO 皮肤上误差均低于骨-皮肤模型，说明肌肉有助于外皮形变和拟合精度。\n- NIMBLE 可作为可微分层支持点云、MRI和RGB输入的手部推断，但 FreiHAND 实验受关节定义差异和固定光照假设限制，定量结果仅与强基线可比。"
}