{
  "paper_id": "f267cd432cda1dc72b7dbc843aeac853",
  "paper_title": "End-to-End Detection and Pose Estimation of Two Interacting Hands",
  "paper_authors": [
    "Dong Uk Kim",
    "Kwang In Kim",
    "Seungryul Baek"
  ],
  "publication_date": "",
  "publication_venue": "2021 IEEE/CVF International Conference on Computer Vision (ICCV)",
  "abstract": "三维手部姿态估计已达到成熟水平，使得单手案例的实际应用成为可能。然而，准确估计两只紧密交互的手的姿态仍然是一个挑战，因为在这种情况下，一只手经常遮挡另一只手。我们提出了一种新算法，能够在这种具有挑战性的场景中准确估计手部姿态。算法的核心在于一个联合训练交互双手估计器的框架，利用它们之间的相互依赖关系。此外，我们采用GAN类型的交互手部姿态判别器，帮助避免物理上不合理的配置（例如手指交叉），并利用关节可见性来改进中间2D姿态估计。我们将这些整合到单个模型中，该模型基于姿态估计精度的统一准则学习检测手部并估计其姿态。据我们所知，这是首次构建端到端网络来检测和估计两只紧密交互的手（以及单手）的姿态。在代表具有挑战性的真实场景的三个数据集上的实验中，我们的算法展示了相对于现有技术的显著且一致的性能提升。\n",
  "keywords": [
    "手部姿态估计",
    "交互双手",
    "手部检测",
    "生成对抗网络",
    "关节可见性",
    "端到端学习",
    "深度学习",
    "3D姿态估计",
    "遮挡处理"
  ],
  "paper_institutions": [
    "UNIST"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:30:34.191405Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对两只紧密交互手部因相互遮挡导致3D姿态估计困难的问题，本文在单手姿态估计技术已趋成熟、而双手交互场景仍缺乏有效端到端方案且训练数据有限的背景下，提出了首个集手部检测与姿态估计于一体的端到端CNN框架。该框架通过HSIC独立性检验验证了交互双手关节位置间存在强统计依赖（紧密交互时检验统计量为阈值的33倍），据此对双手姿态估计器进行联合训练以利用可见手信息推断被遮挡手；同时引入GAN型姿态判别器（含2D热力图判别器和3D骨架判别器）捕捉结构依赖，避免手指穿插等物理不合理配置，并设计关节可见性估计网络与可见性引导的热力图增强模块来提升2D姿态精度。框架内嵌基于Faster R-CNN和ResNet-50的检测网络，将检测到的手分为左手、右手和交互手三类，分别送入单手或双手姿态估计分支，整体以统一损失函数L = L^HPN + L^Hand + L^2D + λ₁L^3D + λ₂L^D + λ₃L^V（λ₁=30, λ₂=0.01, λ₃=1）端到端训练。实验在Ego3D（5万训练/5千测试合成图像）、InterHand2.6M（284,716训练/66,722测试真实图像）和Tzionas（1,307帧，无独立训练集，跨数据集测试）三个数据集上进行，采用3D EPE、MPJPE和2D EPE指标，结果显示本文方法在Ego3D上将3D EPE从12.20mm降至11.63mm（降低3.93%）、2D EPE从7.11px降至4.53px（降低32.49%），在InterHand2.6M上将MPJPE从12.58mm降至12.08mm（降低4.05%），在Tzionas上将2D EPE从12.91px降至12.42px（降低3.80%），所有数据集均排名第一；消融实验进一步证明联合训练、GAN判别器、可见性增强和端到端检测设计各自及共同的贡献。该方法适用于AR/VR、手语识别和手势界面等场景，主要约束在于判别器仅基于骨架关节而无法建模表面几何形变，且统计依赖可能受非交互手间虚假相关影响，未来可探索手部网格形状估计、循环神经网络动力学建模、多人数据集验证以及手物交互姿态估计。\n\n### 关键要点\n\n- 本文提出首个可端到端训练的单手及双手交互检测与3D姿态估计流水线，输入任意尺寸RGB图像，输出每只手21个关节的J×3维3D坐标。\n- 基于Hilbert-Schmidt独立性准则（HSIC）的统计检验表明，紧密交互双手的关节位置存在强依赖，检验统计量达到独立性假设95%分位阈值的33倍，而非交互手仅为1.56倍。\n- 手部检测网络以ImageNet预训练ResNet-50为骨干，结合Faster R-CNN的候选框网络和分类框生成网络，输出左手、右手、交互手及背景四类。\n- 交互手判定基于双手框IOU：训练阈值τ设为0.3以兼顾训练样本量与挑战性聚焦，测试时采用更保守的0.5。\n- 交互手姿态分支共享早期层联合生成双手热力图和深度，包含9层卷积的2D热力图估计器、42维关节可见性估计器、可见性引导热力图增强器和3D深度估计器。\n- GAN型判别器分解为热力图判别器d^TH2D和3D骨架判别器d^TZ3D，后者观察完整3D关节而非仅深度，以更好判断物理合理性；因2D峰值不可微，热力图监督由独立判别器提供。\n- 训练采用Adam优化器（学习率0.001），批大小3，共10个epoch，检测网络在5个epoch后冻结；数据增强包括平移、旋转、翻转、亮度和饱和度变化，使数据量扩大约4倍。\n- Ego3D数据集上本文方法2D EPE为4.53px、3D EPE为11.63mm，且无需测试时真值框，优于依赖真值框的Moon等方法（3D EPE 12.20mm）。\n- InterHand2.6M数据集上整体MPJPE为12.08mm，其中交互手子集MPJPE为11.52mm（可见关节11.11mm），与整体精度差距仅约0.8%。\n- Tzionas跨数据集测试中2D EPE为12.42px，优于Boukhayma等的12.91px和Wang等的13.31px，显示出良好的泛化稳定性。\n- 检测与分类辅助指标：InterHand2.6M上检测平均AP达98.62，左右手分类准确率97.64%，关节可见性估计准确率78.38%。\n- 消融实验显示移除GAN损失、可见性模块或交互联合训练均使交互手MPJPE上升（分别至12.39、12.95、14.36mm），分离检测与姿态训练则使整体MPJPE恶化至13.69mm。"
}