{
  "paper_id": "8ed4836d6aded8449d18900d7d9b54a3",
  "paper_title": "FreiHAND: A Dataset for Markerless Capture of Hand Pose and Shape from Single RGB Images",
  "paper_authors": [
    "Christian Zimmermann",
    "Duygu Ceylan",
    "Jimei Yang",
    "Bryan Russell",
    "Max Argus",
    "Thomas Brox"
  ],
  "publication_date": "2019",
  "publication_venue": "ICCV 2019",
  "abstract": "Estimating 3D hand pose from single RGB images is a highly ambiguous problem that relies on an unbiased training dataset. In this paper, we analyze cross-dataset generalization when training on existing datasets. We find that approaches perform well on the datasets they are trained on, but do not generalize to other datasets or in-the-wild scenarios. As a consequence, we introduce the first large-scale, multi-view hand dataset that is accompanied by both 3D hand pose and shape annotations. For annotating this real-world dataset, we propose an iterative, semi-automated 'human-in-the-loop' approach, which includes hand fitting optimization to infer both the 3D pose and shape for each sample. We show that methods trained on our dataset consistently perform well when tested on other datasets. Moreover, the dataset allows us to train a network that predicts the full articulated hand shape from a single RGB image. The evaluation set can serve as a benchmark for articulated hand shape estimation.",
  "keywords": [
    "手部姿态估计",
    "手部形状估计",
    "数据集构建",
    "单张RGB图像",
    "跨数据集泛化",
    "MANO手部模型",
    "多视角重建",
    "人在回路标注"
  ],
  "paper_institutions": [
    "University of Freiburg",
    "Adobe Research"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:42:26.929013Z",
  "template_tag": "simple",
  "summary": "### 摘要\n从单张RGB图像估计3D手部姿态与形状是一个高度歧义的问题，其性能严重依赖无偏的训练数据。现有方法或依赖难以模拟真实图像特性（光照变化、镜头畸变、运动模糊、景深等）的合成数据集，或依赖受控环境下采集、变化有限的真实数据集，导致经典的数据集偏差：网络在自身训练集上表现优异，却难以泛化到其他数据集或真实场景。为此，作者提出首个大规模、多视角、同时带有3D手部姿态与形状标注的真实数据集FreiHAND，并设计了一种迭代式、半自动的\"人在回路\"标注流程：从稀疏的2D关键点（指尖与手腕共6个）标注和半自动分割掩码出发，将可变形MANO手部模型拟合到多视角图像，通过优化多项损失 L = L_kp^2D + L_kp^3D + L_seg + L_shape + L_pose 同时推断3D姿态与形状；随后训练多视角网络MVNet预测未标注样本的3D关键点及置信度，对高置信预测进行启发式验证、对低置信样本人工标注，迭代自举扩展数据。数据集使用8台标定且硬件同步的RGB相机（置于约1米立方体角落，可便携支持室内外采集）记录32名受试者（含手-物交互），训练集在绿幕前采集以便与多样背景合成（结合图像协调与深度着色后处理，将33k样本扩充至132k），评测集在2个室内和1个室外场景采集。实验采用AUC（正确关键点百分比曲线下面积）衡量跨数据集泛化：在FreiHAND上训练的单视角网络在STB、RHD、GAN、PAN、LSMV、FPA、HO-3D等7个数据集上取得平均排名2.2（第一），显著优于现有数据集（平均排名2.9–6.1），验证了数据多样性与标注流程的有效性；形状估计方面，直接回归MANO参数的CNN在mesh误差（1.07cm）、F@5mm（0.529）和F@15mm（0.935）上均优于均值形状、MANO拟合及Boukhayma、Hasson等方法，证明该数据集可支持从单张RGB图像监督学习全关节手部形状估计。未来工作计划进一步扩展数据集，为真实场景下的评测提供更具挑战性的基准。该数据集可应用于手势识别、机器人和AR等现实场景，但需注意尺度歧义使绝对3D坐标估计病态（采用根相对、尺度归一化的2.5D表示），且绿幕合成需后处理缓解颜色渗透问题。\n\n### 关键要点\n- 提出FreiHAND数据集：首个大规模真实RGB图像手部数据集，同时提供3D手部姿态与形状（MANO参数）标注，涵盖32名不同性别与族裔背景的受试者、高变化手部姿态以及手-物交互样本。\n- 标注采用迭代式\"人在回路\"自举流程：稀疏2D标注（6个关键点，每个约2秒）加半自动分割掩码（修正约12秒）驱动MANO模型多视角拟合，经人工或启发式验证后累积，最终以适度人工成本获得11592个标注（迭代4次后验证样本达4565个）。\n- 核心拟合机制为多项损失优化：L = L_kp^2D + L_kp^3D + L_seg + L_shape + L_pose，包含2D/3D关键点损失、基于欧氏距离变换（EDT）的分割损失、形状先验（约束接近MANO均值形状）与姿态先验（PCA系数正则及近邻姿态约束），在TensorFlow中以ADAM优化器求解。\n- MVNet多视角网络：各视角共享2D CNN提取特征后经可微反投影聚合到64×64×64体素网格，由3D CNN以Scorevolume损失回归关键点位置并输出置信度；稀疏化曲线实验证明该置信度是预测误差的有效代理，优于Softargmax损失。\n- 跨数据集泛化分析：在7个现有数据集（STB、RHD、GAN、PAN、LSMV、FPA、HO-3D）上训练同一单视角网络并交叉测试，发现典型数据集偏差——各网络在自身评测集上AUC最高（0.6–0.87），但在其他数据集上大幅下降。\n- FreiHAND训练的网络跨数据集平均排名2.2位列第一，在多数外部评测集上AUC领先（如PAN 0.562、HO-3D 0.557、RHD 0.518），而FPA（6.0）、HO-3D（6.1）等训练集平均排名垫底，且在STB上的好成绩不能可靠反映泛化能力。\n- 形状估计结果：MANO CNN在FreiHAND评测集（Procrustes对齐后）取得mesh误差1.07cm、F@5mm 0.529、F@15mm 0.935，全面优于均值形状基线（1.63cm/0.340/0.839）、MANO拟合基线（1.44cm）以及Boukhayma（1.30cm）和Hasson（1.32cm）等方法。\n- 数据增强策略：利用绿幕进行背景替换合成，结合Harmonization与Colorization（Auto/Sample）后处理，将训练样本从33k扩至132k；从头训练时联合使用所有后处理效果最佳（评测集AUC 0.678 vs 绿幕原始0.440），而使用ImageNet预训练ResNet50时增益减弱。\n- 采集设置：8台Basler彩色相机（2台acA800-510uc、6台acA1300-200uc）经GPIO硬件触发同步，置于约1米立方体角落；训练/评测分别含24/11名受试者（仅3人重叠），评测集覆盖2个室内与1个室外场景。\n- 迭代标注有效性：数据集从D0的302样本增长至D4的4565样本，单视角网络在RHD（0.244→0.518）和PAN（0.347→0.562）上的AUC随迭代单调提升，验证了自举流程的收敛性。\n- 现实约束：单目3D关键点估计因尺度歧义而病态，采用根相对、尺度归一化的2.5D表示（以参考骨骼长度为尺度因子）；无标记采集保持了真实手部外观但需后处理标注；启发式验证要求MVNet平均置信度高于0.8、分割IoU平均高于0.7且关键点距离不超过0.5cm等严格标准。"
}