{
  "paper_id": "7c87001d4b1b83297dcc261d7b935423",
  "paper_title": "HaMuCo: Hand Pose Estimation via Multiview Collaborative Self-Supervised Learning",
  "paper_authors": [
    "Xiaozheng Zheng",
    "Chao Wen",
    "Zhou Xue",
    "Pengfei Ren",
    "Jingyu Wang"
  ],
  "publication_date": "",
  "publication_venue": "2023 IEEE/CVF International Conference on Computer Vision (ICCV)",
  "abstract": "三维手部姿态估计近期虽取得显著进展，但其效果主要依赖大规模标注数据集，而构建这类数据既费力又昂贵。为缓解对标签的高度依赖，本文提出自监督学习框架HaMuCo，利用多视角伪二维标签学习单视角手部姿态估计器。自监督学习的主要挑战在于伪标签噪声以及多视角带来的“群体思维”效应。为此，作者引入跨视角交互网络，通过利用跨视角关联特征并强制多视角一致性来蒸馏单视角估计器，从而实现协作学习。单视角估计器与跨视角交互网络以端到端方式联合训练。大量实验表明，该方法在多视角自监督手部姿态估计上达到当前最优性能；此外，所提出的跨视角交互网络也可用于多视角输入的手部姿态估计，并在相同设置下优于以往方法。\n",
  "keywords": [
    "三维手部姿态估计",
    "自监督学习",
    "多视角协作学习",
    "跨视角交互",
    "手部网格",
    "MANO",
    "自蒸馏",
    "一致性约束"
  ],
  "paper_institutions": [
    "北京邮电大学网络与交换技术国家重点实验室",
    "字节跳动PICO IDL，北京"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:41:38.441874Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文解决三维手部姿态估计严重依赖昂贵3D标注、现有自监督方法受噪声2D伪标签和多视角“群体思维”制约的问题；相关背景中S²HAND仅用单视角OpenPose伪标签且性能受标签质量限制，EpipolarPose、CanonPose等人体姿态方法依靠几何三角化或一致性约束，缺少可学习的跨视角特征交互。作者提出HaMuCo，以多视角同步RGB图像和离线2D伪标签训练，却在推理时保留单视角估计器：单视角网络由CNN编码器与MLP解码器回归MANO的形状β和姿态θ，并用弱透视相机投影，手部先验可抑制伪标签导致的解剖学不合理结果；核心CVI-Net先通过VSGFE汇集关节位置嵌入、高层关节图像特征和多层级关节对齐局部特征，再由双分支DCVI完成跨视角Transformer注意力与视角共享GCN特征增强，核心机制可表示为 `G* = G + Ft(G) + C'`，随后将各视角交互结果对齐、平均，并通过2D一致性、融合一致性和多视角蒸馏损失协同监督单视角输出，总损失由协作损失、蒸馏损失、2D关节损失和手部先验正则组成。实验主要在HanCo（扩展FreiHAND，含多视角与标定，作者以前1200段训练、后317段测试）进行，并在FreiHAND评估，还用Assembly101、H2O和野外图像检验泛化；选择这些数据分别验证同步多视角自监督、单视角基准迁移、动作/手物场景与无标定适应性。实现采用PyTorch、256×256输入，每批包含8个时间步和8个相机的图像，使用AdamW优化器，初始学习率3e-4，先不带协作损失和蒸馏损失训练10轮，再联合训练30轮。评价指标包括MPJPE/MPVPE、NMPJPE/NMPVPE、PA-MPJPE/PA-MPVPE、F-Score和AUC。结果显示，在HanCo单视角自监督设置中，有相机标定时本文N-JE/PA-JE为11.1/7.0，无标定时为15.2/7.7，大幅优于EpipolarPose和CanonPose，并接近全监督方法；在FreiHAND上完整模型ResNet-50达到PA-JE 6.2、PA-VE 6.7、F@5mm 0.72，显著超过仅单视角网络和S²HAND；多视角推理时，自监督RANSAC方案达到MPJPE 8.5、PA-MPJPE 5.6，也优于同设置方法。消融显示移除DCVI、一致性损失或蒸馏损失都会造成明显下降，支持跨视角交互、协作约束和自蒸馏的创新价值。方法适用于动作识别、手语翻译、AR/VR等场景，主要约束是训练需多视角同步图像，严重遮挡、手物交互、无标定时的尺度/中心与全局旋转仍可能失败；未来可探索手物交互、放松同步要求以及迭代训练的进一步利用。\n\n### 关键要点\n\n- HaMuCo训练时使用无手动3D标注的多视角同步图像和OpenPose 2D伪标签，单视角推理时只需一张RGB图像。\n- 框架由单视角手部姿态估计器和跨视角交互网络CVI-Net组成，二者以端到端方式联合训练，推理时可移除CVI-Net。\n- 单视角估计器采用MANO手部模型，β控制形状、θ控制姿态，模型输出778个网格顶点并通过回归器得到21个3D关节。\n- VSGFE模块构造三类关节图特征：关节位置嵌入、基于高层特征的关节图像特征，以及从三层特征图采样的关节对齐局部特征。\n- DCVI包含跨视角注意力分支和视角共享特征分支，前者用Transformer聚合其他视角和关节信息，后者用自适应GCN与最大池化提取多视角共享信息。\n- 交互后的各视角结果在有外参时用相机位姿对齐、无外参时用Procrustes分析对齐，再按视角等权平均形成更可靠的监督结果。\n- 协作学习使用2D一致性损失和融合一致性损失并交替优化，多视角蒸馏损失则用融合结果监督原始单视角输出。\n- HanCo包含1,517个多视角视频、860,304帧，实验采用前1,200段训练、后317段测试；FreiHAND包含130,240张训练图像和3,960张测试图像。\n- 在HanCo单视角自监督对比中，本文方法在有外参时N-JE为11.1、PA-JE为7.0，无外参时分别为15.2和7.7，显著优于适配到手部的EpipolarPose与CanonPose。\n- 在FreiHAND上，完整多视角协作模型以ResNet-50为骨干达到PA-JE 6.2、PA-VE 6.7和F@5mm 0.72，而仅单视角网络性能与S²HAND接近，说明增益来自协作学习而非单纯更换骨干。\n- 在多视角推理设置下，自监督HaMuCo结合RANSAC达到MPJPE 8.5、PA-MPJPE 5.6，Opt-Center方案达到8.8和5.3，优于多种自监督多视角方法。\n- 模型可迁移到Assembly101、H2O和野外图像，但在严重遮挡、挑战性视角、无标定尺度中心错误以及手物交互场景中仍可能失败，未来可研究手物交互和放松多视角同步约束。"
}