{
  "paper_id": "b6f64bd84dd9d5801661eca5b04d3039",
  "paper_title": "Semi-Supervised 3D Hand-Object Poses Estimation with Interactions in Time",
  "paper_authors": [
    "Shaowei Liu",
    "Hanwen Jiang",
    "Jiarui Xu",
    "Sifei Liu",
    "Xiaolong Wang"
  ],
  "publication_date": "",
  "publication_venue": "2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)",
  "abstract": "Estimating 3D hand and object pose from a single image is an extremely challenging problem: hands and objects are often self-occluded during interactions, and the 3D annotations are scarce as even humans cannot directly label the ground-truths from a single image perfectly. To tackle these challenges, we propose a unified framework for estimating the 3D hand and object poses with semi-supervised learning. We build a joint learning framework where we perform explicit contextual reasoning between hand and object representations. Going beyond limited 3D annotations in a single image, we leverage the spatial-temporal consistency in large-scale hand-object videos as a constraint for generating pseudo labels in semi-supervised learning. Our method not only improves hand pose estimation in challenging real-world dataset, but also substantially improves the object pose which has fewer ground-truths per instance. By training with large-scale diverse videos, our model also generalizes better across multiple out-of-domain datasets. Project page and code: <https://stevenslw.github.io/Semi-Hand-Object>",
  "keywords": [
    "半监督学习",
    "3D手部姿态估计",
    "物体6自由度姿态估计",
    "手-物交互",
    "伪标签",
    "时空一致性",
    "上下文推理",
    "自训练"
  ],
  "paper_institutions": [
    "UC San Diego",
    "NVIDIA"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:34:04.298142Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n从单张RGB图像同时估计3D手部姿态与物体6自由度姿态极具挑战：交互中存在严重自遮挡，且3D标注稀缺（人类也难以从单张图像完美标注真值），而现有手部姿态估计（免模型/基于MANO模型）、物体姿态估计（直接回归/2D-3D对应）及手-物联合估计方法均高度依赖人工标注，泛化能力受限。为此，本文提出统一的半监督学习框架：模型以FPN+ResNet-50为共享编码器，用RoIAlign提取手部与物体区域特征，并设计上下文推理（CR）模块显式建模手-物交互——以物体特征为查询、手-物相交区域特征为键，按核心机制 F_i^{o+}=Σ_{j∈Ω} w(i,j)·V(F_j^{ho})+F_i^o（其中 w(i,j)=exp(q_i^T k_j)/Σ_{s∈Ω} exp(q_i^T k_s) 为成对空间相似度）将交互上下文融入物体特征；手部解码器由沙漏网络预测21个2D关节热图并回归MANO参数得到手部网格，物体解码器以网格法预测21个3D控制点的2D位置与置信度并经PnP求解6自由度姿态。训练分两阶段：先在完全标注的HO-3D数据集（66,034张训练图，含手-物3D真值，用于监督学习）上训练，再部署到大规模无标注的Something-Something视频数据集（覆盖多样真实手-物交互，用于验证半监督学习与泛化能力）上，经8种测试时增强的集成预测生成手部伪标签，并用空间约束（重投影IoU≥0.6、姿态重投影距离≤0.65、骨骼长度与关节角度的生物学合理性）与时序约束（连续帧间2D关节与MANO姿态参数平滑、视频内手形不变）筛选出84,063帧高质量伪标签，最后在真值与伪标签并集上以掩码损失 L=L_hand+B·L_object 自训练。评估采用Procrustes对齐后的关节/网格误差（mm）、F-score、AUC及物体ADD-0.1D：在HO-3D上取得最低手部网格误差9.4mm与最高mesh-AUC 81.2%（较先前方法分别高2.2%和3.9%），物体ADD-0.1D平均提升5.7%（瓶类提升12.6%），验证了CR模块与半监督学习的有效性；在FPHA与FreiHand域外数据集上AUC与F-score一致提升（如FPHA网格AUC由75.0升至75.9），证明大规模视频伪标签带来的泛化增益。未来可探索更多无标注视频的利用与物体伪标签的生成；该技术可服务增强现实、第三人称模仿学习与人机交互等场景，但受限于推理时需物体3D模型、标注集中物体实例有限导致的物体姿态泛化困难，以及伪标签质量对时空一致性约束的依赖。\n\n### 关键要点\n\n- 提出统一的3D手部姿态与物体6自由度姿态联合估计框架，采用共享编码器（FPN+ResNet-50）与RoIAlign提取手/物区域特征，由两个解码器分支分别输出手部网格与物体姿态。\n- 上下文推理（CR）模块以物体特征为查询、手-物相交区域特征为键，通过成对空间相似度加权融合交互上下文，显式建模手-物空间依赖，优于无法建模空间依赖的LSTM特征融合方法。\n- 手部解码器结合沙漏网络预测的21个2D关节热图与MANO模型参数（θ∈R^48、β∈R^10）回归手部网格；物体解码器基于网格法预测21个3D控制点（8角点+12边中点+1中心点）的2D位置与置信度，测试时取10个最置信提案经PnP求解6自由度姿态。\n- 半监督流程：先在完全标注的HO-3D数据集（66,034张训练图、10名受试者、10个物体）上监督训练，再部署于大规模无标注的Something-Something视频数据集生成手部伪标签，最终筛选保留84,063帧。\n- 伪标签生成采用8种测试时数据增强的集成预测，并通过空间约束（重投影IoU阈值0.6、姿态重投影距离阈值0.65、最小归一化骨骼长度0.1与关节角范围(0,90)的生物学合理性）与时序约束（连续帧间2D关节距离≤0.5、MANO姿态参数差≤0.01、同一视频内手形偏差不超过2倍标准差）筛选。\n- 重训练在真值与伪标签并集上自训练，采用掩码损失 L=L_hand+B·L_object（B在完全标注数据上为1、伪标签数据上为0），确保伪标签仅监督手部损失。\n- 在HO-3D基准上，方法取得最低手部网格误差9.4mm与最高mesh-AUC 81.2%，分别比Hampali等和Hasson等的方法高2.2%和3.9%，且能同时估计物体姿态。\n- 尽管仅使用手部伪标签，物体姿态估计也大幅受益：半监督学习使cleanser、bottle、can的ADD-0.1D分别提升2.1%、12.6%、2.2%，平均提升5.7%，原因在于更好的手部表征经CR模块提供更优上下文、且共享骨干网络更鲁棒。\n- 消融实验表明以物体特征作为CR查询（o+）最优，物体ADD-0.1D较无CR基线平均提升5.3%；而以手部特征为查询（h+、h+o+）反而轻微降低性能。\n- 消融还显示空间与时序过滤约束均不可或缺，去掉任一约束都会降低手部姿态精度；伪标签使用比例越高（20%~80%均匀采样），物体姿态性能越好。\n- 跨域泛化：在FPHA（第一人称视角、磁传感器标注）与FreiHand（室内外混合、半数样本无物体）上，半监督模型的关节/网格AUC与F-score均优于纯监督基线（如FPHA网格AUC从75.0升至75.9，FreiHand网格AUC从68.0升至69.1）。\n- 应用场景包括增强现实、第三人称模仿学习与人机交互；主要约束是未生成物体伪标签（推理需物体3D模型且标注集中物体实例有限导致泛化差），以及伪标签质量依赖时空一致性约束的有效性。"
}