{
  "paper_id": "16024b54037ad1f7780933b31c7454a8",
  "paper_title": "Monocular Real-time Hand Shape and Motion Capture using Multi-modal Data",
  "paper_authors": [
    "Yuxiao Zhou",
    "Marc Habermann",
    "Weipeng Xu",
    "Ikhsanul Habibie",
    "Christian Theobalt",
    "Feng Xu"
  ],
  "publication_date": "2020-06",
  "publication_venue": "IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)",
  "abstract": "本文提出一种单目手部形状与姿态估计新方法，运行速度达到100fps，并具有当前最先进的精度。该方法依赖一种新的学习架构，能够利用所有可用的手部训练数据来源：带有2D或3D标注的图像数据，以及没有对应图像的独立3D动画数据。架构包含一个3D手部关节检测模块和一个逆运动学模块，不仅回归3D关节位置，还在单次前馈传播中将其映射为关节旋转。与仅回归3D关节位置相比，这种输出更适合计算机视觉和图形学应用。作者在多个具有挑战性的基准上证明，该架构设计在定量和定性方面均显著优于现有方法，并将公开代码以支持未来研究。\n",
  "keywords": [
    "单目RGB手部捕捉",
    "实时手部姿态估计",
    "手部形状估计",
    "多模态训练数据",
    "逆运动学网络",
    "关节旋转",
    "MANO手模型",
    "深度学习"
  ],
  "paper_institutions": [
    "清华大学BNRist与软件学院",
    "马克斯·普朗克信息学研究所",
    "萨尔兰信息学园区"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:41:40.767697Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对单张RGB图像进行3D手部捕捉时存在的深度歧义、自遮挡、快速运动、皮肤外观单一以及训练数据标注受限等问题，本文指出现有方法通常无法同时利用带2D或3D标注的图像与无图像的手部动作捕捉数据，而且多数方法只输出3D关节位置，迭代逆运动学拟合较慢，直接回归旋转又因缺少旋转真值而只能弱监督。为此，作者提出由DetNet和IKNet组成的实时单目手部形状与运动捕捉框架：DetNet以ResNet50为特征提取器，通过2D热图、3D位置图和骨骼方向图进行多任务学习，输出根关节相对且尺度归一化的2D/3D关节位置；手部形状通过将MANO参数模型拟合到预测骨骼长度获得；IKNet则用7层全连接网络将3D关节位置转换为关节四元数旋转，核心机制可表示为 \\(\\mathcal{Q}=\\mathrm{IKNet}([\\mathcal{X},\\mathcal{D},\\mathcal{X}_{\\mathrm{ref}},\\mathcal{D}_{\\mathrm{ref}}])\\)。训练时选用CMU的16720张真实2D标注图像增强野外泛化能力，选用RHD的21358张和GANerated Hands的330000张合成图像提供3D监督，并使用MANO自带的1554个姿态及基于手指独立组合、四元数插值和形状采样增强的MoCap数据提供直接旋转监督，同时用预训练DetNet在3D标注图像上的预测构造3DPosData，经前向运动学层实现弱位置监督，从而验证多模态数据互补和IKNet对噪声预测的校正能力。实验在NVIDIA GTX1080Ti上完成，DetNet和IKNet单次前馈分别耗时8.9ms和0.9ms，系统超过100fps；在RHD、STB、Dexter+Object和EgoDexter上以20mm至50mm阈值的PCK及AUC评估，DO、ED、STB、RHD的AUC分别为0.948、0.811、0.898和0.856，其中DO和ED未被任何参与比较模型用于训练，因而最能体现泛化优势，结果支持多模态联合训练与可直接驱动网格的旋转表示这两项创新。定性结果表明方法可处理运动模糊、物体遮挡、自遮挡、复杂抓握和自由视点，适用于AR/VR、人机交互和图形学动画；其约束在于单目预测本质上仍有深度尺度歧义，默认只能得到相对形状，绝对深度和全局平移需要相机内参与参考骨长度，未来可进一步结合3D扫描恢复手部纹理，并扩展到单RGB图像中两只交互手的联合捕捉。\n\n### 关键要点\n\n- DetNet接收128×128的单张RGB图像，输出图像空间2D关节热图以及根关节相对、尺度归一化的3D关节位置。\n- DetNet的特征提取器采用ResNet50主干，2D检测器为两层CNN，3D检测器先预测骨骼方向delta maps，再结合热图和特征图预测位置图。\n- 训练DetNet时混合使用CMU真实2D标注图像、RHD和GANerated Hands合成3D标注图像，而不使用真实3D标注图像，以避免小规模真实3D数据集造成过拟合。\n- 手部形状通过MANO模型估计，优化目标是让模型归一化骨骼长度匹配DetNet预测的骨骼长度，并加入形状参数L2正则，因此默认恢复的是相对手形。\n- IKNet是带批量归一化的7层全连接网络，除末层线性激活外使用sigmoid激活，输出每个关节的全局旋转四元数并归一化为单位四元数。\n- MoCap训练数据来自MANO的31名受试者、1554个真实手部姿态，并通过手指姿态独立组合、静止姿态到新姿态的四元数插值以及按正态分布采样形状参数进行在线增强。\n- 3DPosData使用预训练DetNet对3D标注训练图像产生的含噪声关节预测作为IKNet输入，再通过前向运动学重建3D位置并接受真值监督，使IKNet适应检测误差。\n- 在GTX1080Ti上，DetNet单次前馈耗时8.9ms，IKNet耗时0.9ms，整套系统运行速度超过100fps。\n- 四个基准的AUC结果为DO 0.948、ED 0.811、STB 0.898、RHD 0.856；在未用于训练的DO和ED上，该方法大幅优于所比较方法。\n- 消融实验显示，移除IKNet后DO的AUC降至0.923，移除四元数余弦损失后DO降至0.840，而缺少MoCap旋转监督时即使关节位置接近真值，也可能产生解剖结构不自然的姿态。",
  "available_templates": [
    "deep_read",
    "simple"
  ]
}