{
  "paper_id": "852b8f9d220e0cae07384c53a4d419ed",
  "paper_title": "Contrastive Representation Learning for Hand Shape Estimation",
  "paper_authors": [
    "Christian Zimmermann",
    "Max Argus",
    "Thomas Brox"
  ],
  "publication_date": "",
  "publication_venue": "GCPR 2021 (Lecture Notes in Computer Science)",
  "abstract": "This work presents improvements in monocular hand shape estimation by building on top of recent advances in unsupervised learning. We extend momentum contrastive learning and contribute a structured collection of hand images, well suited for visual representation learning, which we call HanCo. We find that the representation learned by established contrastive learning methods can be improved significantly by exploiting advanced background removal techniques and multi-view information. These allow us to generate more diverse instance pairs than those obtained by augmentations commonly used in exemplar based approaches. Our method leads to a more suitable representation for the hand shape estimation task and shows a 4.7% reduction in mesh error and a 3.6% improvement in F-score compared to an ImageNet pretrained baseline. We make our benchmark dataset publicly available, to encourage further research into this direction.\n",
  "keywords": [
    "Hand shape estimation",
    "Self-supervised learning",
    "Contrastive learning",
    "Dataset"
  ],
  "paper_institutions": [
    "University of Freiburg, Freiburg im Breisgau, Germany"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:43:14.601313Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文解决单目RGB手部形状估计中高质量三维形状标注稀缺、姿态高维且存在歧义的问题。相关研究通常依赖ImageNet监督预训练，或使用深度、剪影、关键点等弱监督模态，而近期MoCo等对比学习通过动态大字典在多个下游任务上超过ImageNet预训练；本文沿这一正交方向，在源域无标签手部图像上自监督预训练卷积骨干，再在较少标注数据上微调。方法以MoCo为基础，查询编码器参数θ直接优化，键编码器通过动量公式 \\tilde{\\theta}_n=m\\tilde{\\theta}_{n-1}+(1-m)\\theta_n 缓慢更新，并维护负样本键队列，用InfoNCE拉近匹配对、推远非匹配对；自监督使用ResNet-50训练100个epoch，批量大小128，输入224×224，基础学习率0.015并按余弦计划退火。标准增强包括随机裁剪、颜色抖动、灰度化和高斯模糊，但不使用会改变手部姿态语义的随机翻转。论文进一步利用HanCo的结构构造姿态保持性正样本：基于前景抠图与2193张Flickr背景做背景随机化，从同一相机相邻视频帧采样时间对，从同步标定的8相机立方体装置中同一时刻相邻相机采样多视图对。HanCo包含32名受试者、107,538个时刻、每时刻8视角共860,304帧，其中63,864帧绿幕带MANO标注并作为FreiHAND训练集；这种设置无需手形标签或额外模态即可验证域内表征，绿幕和标定多视图也直接支持背景去除与跨视角一致性。下游将ResNet-50末层改为61维MANO参数，有监督训练500,000步、批量大小16、基础学习率0.0001，并在220,000和340,000步衰减；损失由权重1000的3D关键点L2项、权重10的2D投影L2项和权重1的参数L2项组成。在FreiHAND上以Procrustes对齐后的厘米网格误差及5mm、15mm F分数评估，多视图策略取得1.02cm、F@5mm=0.548、F@15mm=0.943，相比Zimmermann等ImageNet预训练基线的1.07cm、0.529、0.935，网格误差降低4.7%、F@5mm提升3.6%、F@15mm提升0.9%，背景和时间策略也达到1.04cm，支持了“有意义正样本采样可学习更适合手形估计表征”这一核心创新；t-SNE、余弦相似度和检索实验显示表征关注手形而非背景并能聚类相似姿态。论文公开HanCo以推动后续研究，未来可利用其他一致性来源、深化单序列时间一致性，并将弱监督方法与相机标定信息在训练中结合；该技术适用于单目手形估计、无标注姿态聚类与检索，约束是高级采样依赖受控同步相机、标定和前景分割，视角遮挡会降低相似度，且自监督收益在约40%标注量时最明显，数据过少缺少变化、数据过多则预训练价值下降。\n\n### 关键要点\n\n- 方法分为自监督对比预训练和有监督手形微调两阶段，先在全部无标签HanCo帧上训练ResNet-50编码器，再用所得权重初始化FreiHAND上的手形网络。\n- MoCo使用查询编码器与动量键编码器，键编码器由 \\tilde{\\theta}_n=m\\tilde{\\theta}_{n-1}+(1-m)\\theta_n 更新，并维护历史键队列作为大量负样本，训练目标为InfoNCE对比损失。\n- 正样本构造保留随机裁剪、颜色抖动、灰度化和高斯模糊，但明确不使用随机水平翻转，因为翻转会改变手部姿态的语义信息。\n- 背景随机化利用绿幕前景分割把手部抠出，并合成到从Flickr采集的2193张风景、城市场景或室内背景上，还可使用色彩化和深度和谐化方法处理边界。\n- 时间采样从同一相机的相邻视频帧取正样本对，相邻姿态通常仅有小幅变化，从而让相似姿态获得相近嵌入。\n- 多视图采样在同一时刻从立方体8相机中选择相邻相机，图像外观变化较大但三维手形一致，是论文中效果最好的正样本策略。\n- HanCo含32名受试者、107,538个记录时刻和860,304帧同步多视图图像，其中63,864帧带手形标注且用于有监督训练。\n- 下游网络最后全连接层从128维改为61维以预测MANO参数，损失由3D关键点项、2D投影项和MANO参数项组成，三者权重分别为1000、10和1。\n- 嵌入分析中，25,000张图像的t-SNE显示相似姿态聚集，余弦相似度对背景变化保持稳定，而不同姿态即使背景相同相似度也低，并可用于无标注姿态检索。\n- FreiHAND定量评估中，多视图预训练取得1.02cm网格误差、0.548的F@5mm和0.943的F@15mm，优于ImageNet基线的1.07cm、0.529和0.935。\n- 标注比例消融显示多视图预训练在20%至100%标注量下均优于ImageNet基线，差距在约40%标注量时最大，过少或过多标注都会减小收益。\n- 多视图相似度可能受遮挡影响，且论文的高级采样依赖受控同步相机、标定和前景分割，迁移到无结构野外数据时需要另找一致性来源。"
}