{
  "paper_id": "b49fa9f0845dfcda492d548561d95c9c",
  "paper_title": "Self-Supervised 3D Hand Pose Estimation from monocular RGB via Contrastive Learning",
  "paper_authors": [
    "Adrian Spurr",
    "Aneesh Dahiya",
    "Xi Wang",
    "Xucong Zhang",
    "Otmar Hilliges"
  ],
  "publication_date": "2021",
  "publication_venue": "2021 IEEE/CVF International Conference on Computer Vision (ICCV)",
  "abstract": "受对比学习在图像分类任务上成功的启发，本文提出一种用于3D手部姿态估计这一结构化回归任务的新型自监督方法。对比学习借助无标签数据学习表示，其损失公式鼓励所学特征对任意图像变换保持不变。对于3D手部姿态估计，特征对颜色抖动等外观变换保持不变是理想属性，但对旋转和平移等仿射变换则需要保持等变。为此，作者提出等变对比目标，并在3D手部姿态估计中验证其有效性。论文系统研究了不变与等变对比目标的影响，证明学习等变特征能产生更适合该任务的表示；进一步表明，具有足够深度的标准ResNet在利用额外无标签数据训练后，在FreiHAND上的PA-EPE最高提升14.5%，无需任何任务专用的特殊架构即可达到最先进性能。代码和模型可在 <https://ait.ethz.ch/projects/2021/PeCLR/> 获取。\n",
  "keywords": [
    "3D手部姿态估计",
    "自监督学习",
    "对比学习",
    "等变表示",
    "单目RGB",
    "PeCLR",
    "ResNet",
    "FreiHAND"
  ],
  "paper_institutions": [
    "Department of Computer Science, ETH Zurich, Switzerland"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:35:41.295308Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文解决单目RGB图像中3D手部关节点定位这一结构化回归问题，其挑战在于背景、光照、手外观差异和高自由度自遮挡，而3D标注采集昂贵、实验室数据难迁移到野外场景。已有对比学习在图像分类上通过SimCLR等方法让增强视图表示彼此靠近，从而对所有变换不变，但手部姿态估计只需对颜色抖动等外观变换不变，却必须对旋转、平移、缩放等几何变换等变；标准目标会抹除几何信息。作者提出Pose Equivariant Contrastive Learning（PeCLR），先用无标签手部图像自监督预训练编码器，再用少量标注数据监督微调。其核心机制是对增强视图 t=t_g∘t_a 编码后，在投影或潜在空间用几何变换的逆进行对齐，即要求 t_i^g f(I)=f(t_i^g(I))，并计算 z_tilde_i=(t_i^g)^-1 z_i 后送入NT-Xent对比损失；对像素平移与潜在空间幅度不一致问题，用 v_hat=(v/L)L_z 归一化平移向量，其中L为图像长度、L_z为投影值跨度，余弦相似度则天然抵消缩放影响。实验在FreiHAND上进行监督与自监督训练，并利用含47,125帧野外图像、标注由OpenPose和MANO自动生成且无相机内参的YouTube3DHands仅作自监督预训练，以检验无标签数据利用、域差异和跨域泛化；模型采用标准ResNet-50/152，预训练输入128×128、批大小2048，SOTA与跨数据集实验微调使用224×224，下游以2.5D表示预测21个关节的2D坐标与根节点相对深度并反投影为3D姿态。指标采用EPE、0–5 cm PCK曲线下AUC及Procrustes对齐后的PA指标。结果表明PeCLR相对SimCLR在平移、旋转增强上分别带来约34%和约57%的误差下降，冻结编码器评估在FH上把3D EPE从16.62降至16.05、2D EPE从12.05降至10.51；半监督最低标注设置下3D EPE最多改善43%，增加YT3D无标签数据进一步提升性能，20%标注时接近纯监督40%标注的效果。在FreiHAND全监督微调中，ResNet-50和ResNet-152经PeCLR预训练后PA-EPE分别从0.83降至0.71 cm、0.74降至0.66 cm，提升14.5%和10.8%，以通用CNN超过专用架构达到SOTA；跨数据集评估在YT3D上3D PA-EPE和2D EPE分别改善5.6%和23.5%。该方法适用于机器人、人机交互和AR/VR等需要减少3D标注、适应野外或特定校准域的场景，约束是当前几何处理针对可逆仿射变换、平移需按潜在空间尺度归一化，且YT3D标签噪声和缺失内参限制了绝对3D评估。未来可扩展到人体姿态等其他结构化回归任务，并进一步利用更多无标签数据提升泛化能力。\n\n### 关键要点\n\n- PeCLR采用两阶段流程：先在无标签手部图像上自监督预训练编码器，再移除投影头并替换为线性预测层，在3D手部姿态标注上进行端到端微调。\n- 该目标将颜色抖动等外观变换与缩放、旋转、平移等几何变换区分开，要求外观表示不变，同时保持几何变换等变。\n- 实现等变的方式是对几何增强图像的投影 z_i 施加逆几何变换，即 z_tilde_i=(t_i^g)^-1 z_i，再计算NT-Xent对比损失。\n- 为解决像素平移量与潜在空间幅度不一致，方法按 v_hat=(v/L)L_z 归一化平移向量，L为图像长度，L_z为当前投影的最大值与最小值之差。\n- 下游姿态模型使用2.5D表示，预测21个关节的2D坐标和根节点相对深度，经L1损失训练、根深度细化和相机内参反投影得到J^3D。\n- FreiHAND含32,560个训练帧并用于监督和自监督训练；YouTube3DHands含47,125帧野外图像，仅用于自监督预训练，其自动生成的3D标注和缺失内参会限制评估。\n- 预训练使用128×128输入、ResNet编码器、批大小2048和LARS/Adam设置；SOTA与跨数据集实验使用224×224输入，微调阶段采用Adam。\n- 增强实验表明旋转在SimCLR中表现差；PeCLR相对SimCLR在平移和旋转上分别取得约34%和约57%的误差降低，最优组合为缩放、旋转、平移和颜色抖动。\n- 半监督实验中，PeCLR在各种标注比例下均优于纯监督基线，最低标注设置3D EPE最多改善43%，加入YT3D后20%标注接近基线40%标注性能。\n- FreiHAND上RN50和RN152经PeCLR预训练后PA-EPE分别为0.71和0.66 cm，较各自基线改善14.5%和10.8%，并超过专用架构。\n- 跨数据集时模型仅在FH微调、在YT3D测试，3D PA-EPE从3.05降到2.88 cm，2D EPE从22.1降到16.9 px，说明跨域泛化改善，但方法目前主要处理可逆仿射几何变换。"
}