{
  "paper_id": "16a089e58c1ce37e25da888bdbd9184d",
  "paper_title": "Model-based 3D Hand Reconstruction via Self-Supervised Learning",
  "paper_authors": [
    "Yujin Chen",
    "Zhigang Tu",
    "Di Kang",
    "Linchao Bao",
    "Ying Zhang",
    "Xuefei Zhe",
    "Ruizhi Chen",
    "Junsong Yuan"
  ],
  "publication_date": "2021",
  "publication_venue": "IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)",
  "abstract": "从单视角 RGB 图像重建三维手部因手部构型多样和深度歧义而颇具挑战。为从单目图像可靠重建三维手部，多数先进方法在训练阶段严重依赖三维标注，而获取三维标注成本高昂。为降低对标注训练数据的依赖，本文提出 S²HAND，这是一个可联合估计姿态、形状、纹理和相机视角的自监督三维手部重建网络。具体而言，方法通过易于获得的二维检测关键点从输入图像中获取几何线索。为从这些含噪几何线索学习准确的手部重建模型，作者利用二维与三维表示之间的一致性，并提出一组新的损失函数来合理化神经网络输出。论文首次证明了在不依赖人工标注的情况下训练准确三维手部重建网络的可行性。实验表明，所提自监督方法取得了与近期监督方法相当的性能。代码位于 <https://github.com/TerenceCYJ/S2HAND>。\n",
  "keywords": [
    "自监督学习",
    "单目三维手部重建",
    "手部姿态估计",
    "手部形状估计",
    "手部纹理估计",
    "MANO",
    "2D-3D一致性",
    "二维关键点",
    "神经渲染",
    "相机视角估计"
  ],
  "paper_institutions": [
    "Wuhan University",
    "Tencent AI Lab",
    "Tencent",
    "State University of New York at Buffalo"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:18:26.411418Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n面向单视角RGB图像中手部构型多变以及单目深度、尺度歧义导致的三维手部重建难题，针对现有模型化方法通常依赖昂贵三维扫描、拟合网格或三维关节标注、二维标注仍需人工成本的现状，论文提出首个完全无需人工标注的自监督框架S²HAND。该框架以EfficientNet-b0将输入图像编码为几何语义码x=(θ,β,s,R,T)和纹理语义码y=(C,L)，用基于两千余三维扫描学习的MANO参数模型解码出含778个顶点的手部网格和21个关节，并通过M=sM0R+T、J=sJ0R+T变换到相机空间，同时回归逐顶点RGB纹理与环境/方向光照，再由可微渲染器生成轮廓和彩色图像。训练阶段加入由堆叠沙漏网络与积分姿态回归实现的可训练二维关键点估计器；三维分支把关节投影到图像并与OpenPose检测的带置信度噪声关键点对齐，二维分支直接估计独立关键点，二者通过2D-3D一致性损失相互增强，核心目标为$E=w_{3d}E_{3d}+w_{2d}E_{2d}+w_{con}E_{con}$，其中三维损失又结合关键点位置、骨骼方向、像素与SSIM光度一致以及形状、纹理、尺度和关节可行角正则，并利用检测置信度对噪声样本和检测项加权。实验选用FreiHAND与HO-3D两个真实数据集：前者含32,560个训练样本和3,960个测试样本并包含抓物样本，后者含66,034个训练图像和11,524个测试图像、表现10名用户操作10种物体且遮挡更强，二者可检验自监督方法在手物交互、自遮挡和真实场景中的泛化能力，并通过在线系统评估关节与网格。实现上采用PyTorch和ImageNet预训练EfficientNet-b0，先分别训练二维、三维分支90个epoch，再用完整目标联合微调60个epoch，Adam优化、batch size为64，在两块NVIDIA Tesla V100上FreiHAND训练约36小时。采用Procrustes对齐后的MPJPE、AUC_J、MPVPE、AUC_V以及5mm和15mm的F-score评估，S²HAND在FreiHAND上取得AUC_J=0.77、MPJPE=1.18cm、AUC_V=0.77、MPVPE=1.19cm、F5=0.48、F15=0.92，在HO-3D上取得AUC_J=0.773、MPJPE=1.14cm、AUC_V=0.777、MPVPE=1.12cm、F5=0.45、F15=0.93，整体与近期全监督方法相当，并在HO-3D上相对手部分支将MPVPE降低约14%；消融显示骨骼方向损失使MPJPE/MPVPE降低约19.5%，二维分支与一致性进一步降低约4%，一致性微调还使二维和投影三维结果的二维MPJPE分别降低5.4%和9.3%，且带置信度的自监督在两数据集上优于使用真值二维关键点的弱监督对照，支撑了噪声加权、结构先验和跨维度一致性的有效性。该方法可服务于动作识别、增强现实/虚拟现实、手语翻译、人机交互和虚拟手抓取等场景，但在极端姿态、严重遮挡、极端视角以及复杂皮肤反射下仍会精度下降，简单光照和较粗网格也限制纹理保真度且纹理建模对形状提升有限；未来可探索符号距离函数等更精细表面表示以及更准确的皮肤反射建模。\n\n### 关键要点\n\n- S²HAND仅使用输入图像和现成二维检测器输出的带置信度关键点训练，推理时从单张RGB图像同时输出三维关节、网格、纹理和相机视角，不使用任何人工二维或三维标注。\n- 三维重建网络采用EfficientNet-b0编码器和MANO模型化解码器；MANO由姿态参数θ和形状参数β生成778个顶点与21个关节，再由尺度、旋转和平移变换到相机坐标。\n- 训练期可选的二维关键点估计器采用堆叠沙漏网络加积分姿态回归，直接输出21个独立二维关节；该模块在推理时移除，不增加部署成本。\n- 几何监督包含投影关键点与检测关键点的Smooth L1位置损失，以及20根骨骼归一化向量的方向损失，用于约束手部结构并减少仅对齐二维点产生的无效三维姿态。\n- 2D-3D一致性损失将投影关键点与二维估计器的对应关键点对齐，使三维结构先验辅助二维估计、独立二维几何线索反过来约束三维重建。\n- 可微神经渲染器根据网格、逐顶点纹理和光照生成手部轮廓与彩色图像，并通过可见区域L1像素损失、SSIM损失和渲染轮廓实现自监督纹理学习。\n- 形状、纹理、尺度和关节角正则将手形拉向平均形状、抑制异常颜色、以中指近节指骨平均长度2.82cm约束尺度，并按方位角、俯仰角和翻滚角的可行范围惩罚无效姿态。\n- FreiHAND包含32,560个训练样本和3,960个测试样本，部分样本为手抓物体且无物体标注，用于检验真实抓物场景和背景变化下的自监督重建。\n- HO-3D包含68个序列、66,034个训练图像和11,524个测试图像，记录10名用户操作10种物体，其物体更大、手部遮挡更严重，用于评估强手物交互条件。\n- 训练采用PyTorch，二维与三维分支先分别训练90个epoch，再以完整损失联合微调60个epoch；使用Adam、batch size为64，在两块Tesla V100上FreiHAND训练约36小时。\n- 在线Procrustes对齐评估中，S²HAND在FreiHAND上取得AUC_J=0.77、MPJPE=1.18cm、AUC_V=0.77、MPVPE=1.19cm、F5=0.48、F15=0.92，在HO-3D上取得AUC_J=0.773、MPJPE=1.14cm、AUC_V=0.777、MPVPE=1.12cm、F5=0.45、F15=0.93，并相对手部分支将MPVPE降低约14%。\n- 失败案例表明极端姿态、严重遮挡、极端视角和单视角二维检测噪声会降低几何精度，简单光照与较粗网格也会使复杂皮肤反射下的纹理不准确。"
}