{
  "paper_id": "d1ead45a2007f3e5daf798c772e3fdd1",
  "paper_title": "Weakly-Supervised Mesh-Convolutional Hand Reconstruction in the Wild",
  "paper_authors": [
    "Dominik Kulon",
    "Riza Alp Güler",
    "Iasonas Kokkinos",
    "Michael Bronstein",
    "Stefanos Zafeiriou"
  ],
  "publication_date": "",
  "publication_venue": "2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)",
  "abstract": "We introduce a simple and effective network architecture for monocular 3D hand pose estimation consisting of an image encoder followed by a mesh convolutional decoder that is trained through a direct 3D hand mesh reconstruction loss. We train our network by gathering a large-scale dataset of hand action in YouTube videos and use it as a source of weak supervision. Our weakly-supervised mesh convolutions-based system largely outperforms state-of-the-art methods, even halving the errors on the in the wild benchmark. The dataset and additional resources are available at https://arielai.com/mesh_hands.",
  "keywords": [
    "3D手部姿态估计",
    "手部网格重建",
    "弱监督学习",
    "网格卷积",
    "螺旋卷积算子",
    "MANO模型",
    "YouTube数据集",
    "几何深度学习"
  ],
  "paper_institutions": [
    "Imperial College London",
    "USI Lugano",
    "Ariel AI",
    "Twitter"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:31:20.790305Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文解决非受控（in-the-wild）环境下从单目RGB图像进行3D手部网格重建与姿态估计的问题。现有方法多依赖回归MANO参数或谱域图卷积，难以泛化到实验室外场景，且缺乏野外3D标注数据。作者提出一种简单的编码器-解码器架构：ResNet-50图像编码器将手部裁剪图嵌入64维潜在向量，螺旋网格卷积解码器直接在图像坐标系中输出3D手部网格，通过直接的网格重建损失端到端训练，无需中间监督。为获取训练数据，作者构建了自动化弱监督数据收集系统：对YouTube视频运行OpenPose检测2D关键点，再以带旋转角度聚类先验的MANO模型迭代拟合生成3D网格标注，从102个视频中筛选出5万条训练标注，并从COCO提取7,048张手部图像，合计54,173个训练样本；选择该数据是因为其覆盖多国籍受试者的手语等多样野外手部动作，能够验证系统在非实验室域的泛化能力。核心机制为网格重建损失 L = λ_vertex·|Ŷ−Y|₁ + λ_edge·Σ_{(u,v)∈E_mesh} |||Ŷ_v−Ŷ_u||−||Y_v−Y_u||||（λ_vertex=λ_edge=0.01），即L1顶点重建项加边长保持项，无需显式姿态损失。网络在单块GeForce RTX 2080 Ti上以批大小32、192×192裁剪训练150个epoch约2天。评估采用平均欧氏距离、PCK、AUC及F-score等指标：在MPII野外基准上Pose Error从18.95px降至9.27px（误差减半、AUC提升0.21），在FreiHAND上达到Pose Error 0.84mm、Mesh Error 0.86mm、Mesh AUC 0.83，均大幅超越现有最优方法，支持了空间网格卷积优于谱方法与MANO回归、以及弱监督数据系统有效两项创新；自对比实验还显示网络推理达60 FPS，远快于单样本110秒的迭代拟合。未来方向包括建模关节间成对依赖、探索人体建模的网格生成模型及免3D真值的弱/自监督方法。该方法适用于人机交互、增强现实、虚拟远程呈现与手语识别等现实场景，但弱监督精度受OpenPose检测性能上界约束，且需应对模糊、低分辨率、遮挡及物体交互等野外图像挑战。\n\n### 关键要点\n\n- 提出由ResNet-50图像编码器与螺旋网格卷积解码器组成的简单单次前向架构，直接在图像坐标系中输出3D手部网格，可端到端从零训练且无需中间监督。\n- 核心训练损失为L1顶点重建项与边长保持项之和（λ_vertex=λ_edge=0.01），实验发现显式姿态估计损失无效果，关节坐标在评估时通过回归矩阵从网格获得。\n- 构建自动化弱监督数据收集流程：对YouTube视频运行OpenPose检测2D关键点，经带角度先验的MANO模型迭代拟合生成3D网格，再按OpenPose置信度与归一化重投影误差过滤样本。\n- 关节角度被约束为64个k-means Euler角聚类中心的softmax加权凸组合，既限制姿态空间为合理姿态又允许对无约束变量优化，全局朝向不受限制，但未建模关节间成对依赖。\n- MANO拟合目标由2D重投影项（指尖权重1.7、手腕2.5、MCP关节0.7）、骨骼长度保持项与正则项（λ_θ=0.1、λ_β=1000）构成，用Adam分参数学习率优化，单批4000样本约10分钟。\n- 解码器采用螺旋算子按顺时针顺序排列k-disk邻域（k=2）定义空间卷积，配合基于二次误差度量的下采样（顶点层级51/100/197/392/778）与重心坐标上采样矩阵逐级恢复网格。\n- 训练数据为从102个YouTube视频（以多国籍手语为主）随机选取至多500样本/视频共5万条网格标注，加上COCO的7,048张手部图像，合计54,173个训练样本，验证与测试集各1,525张且与训练集受试者无交集。\n- 在MPII野外基准上Pose Error为9.27px，较此前最优MANO方法（18.95px）误差减半且AUC提升0.21；在FreiHAND上达到Pose Error 0.84mm、Mesh Error 0.86mm、Mesh AUC 0.83、F@15=0.966，均显著超越对比方法。\n- 自对比实验表明螺旋解码器（YouTube测试Mesh Error 17.096mm）优于谱卷积（19.317mm）、Spiral GMM（18.206mm）与MANO回归（27.485mm），证明空间卷积与图像坐标系端到端训练优于预训练加相机估计的方案。\n- 网络推理速度达60 FPS（RTX 2080 Ti），远快于迭代拟合的每样本110秒（GPU）；在完整MPII测试集上网络（9.265px）优于迭代拟合（10.295px），仅在高置信度过滤子集上略逊。\n- 数据集消融显示包含YouTube数据训练时效果最佳（MPII 9.292px），且仅用MPII+RHD训练也达先进水平（11.547px），验证了网络架构与数据收集系统两项贡献的独立价值。\n- 约束方面：弱监督精度受OpenPose关键点检测性能上界约束；训练依赖随机裁剪等数据增强以泛化到无法基于真值裁剪的真实图像；网络在单块RTX 2080 Ti上训练150个epoch约2天（批大小32、裁剪192×192）。"
}