{
  "paper_id": "873ae234b77c84409e84d94d840066f7",
  "paper_title": "InterHand2.6M: A Dataset and Baseline for 3D Interacting Hand Pose Estimation from a Single RGB Image",
  "paper_authors": [
    "Gyeongsik Moon",
    "Shoou-I Yu",
    "He Wen",
    "Takaaki Shiratori",
    "Kyoung Mu Lee"
  ],
  "publication_date": "2020",
  "publication_venue": "ECCV 2020",
  "abstract": "Analysis of hand-hand interactions is a crucial step towards better understanding human behavior. However, most researches in 3D hand pose estimation have focused on the isolated single hand case. Therefore, we firstly propose (1) a large-scale dataset, InterHand2.6M, and (2) a baseline network, InterNet, for 3D interacting hand pose estimation from a single RGB image. The proposed InterHand2.6M consists of 2.6M labeled single and interacting hand frames under various poses from multiple subjects. Our InterNet simultaneously performs 3D single and interacting hand pose estimation. In our experiments, we demonstrate big gains in 3D interacting hand pose estimation accuracy when leveraging the interacting hand data in InterHand2.6M. We also report the accuracy of InterNet on InterHand2.6M, which serves as a strong baseline for this new dataset. Finally, we show 3D interacting hand pose estimation results from general images. Our code and dataset are available.",
  "keywords": [
    "3D手部姿态估计",
    "交互手",
    "大规模数据集",
    "单张RGB图像",
    "2.5D姿态回归",
    "半自动标注"
  ],
  "paper_institutions": [
    "ECE & ASRI, Seoul National University, Korea",
    "Facebook Reality Labs"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:34:28.261266Z",
  "template_tag": "simple",
  "summary": "### 摘要\n从单张RGB图像进行3D交互手部姿态估计是理解人类行为与人机交互的关键技术，但以往研究（基于深度的生成式/判别式方法及基于RGB的深度学习方法）大多针对孤立单手场景，少数交互手方法（如Oikonomidis、Tzionas、Simon、Mueller等的工作）又依赖深度图或多视角输入，无法从单张RGB图像同时处理单手与交互手。为此，论文提出首个大规模真实RGB数据集InterHand2.6M（2.6M标注帧、26名受试者、80-140台高分辨率相机多视角工作室采集、半自动标注误差仅2.78mm）与基线网络InterNet：后者以ResNet-50为骨干，从裁剪的手部图像同时预测手性概率、左右手2.5D姿态（x/y轴位于图像空间、z轴为腕关节相对深度的3D高斯热图）及右手相对左手深度（1D热图+soft-argmax），并依据核心机制 P_3D^R=Π(T^{-1}P_2.5D^R+Z^R)、P_3D^L=Π(T^{-1}P_2.5D^L+Z^L)（其中Z^L在右手可见时取 z^R+z^{R→L}）结合RootNet绝对深度提升至3D空间。实现上采用PyTorch、Adam优化器（批大小64、20个epoch、4块TitanV GPU训练48小时、推理53fps），数据集按Train(H/M/H+M)、Val(M)、Test(H/M/H+M)划分以覆盖已见与未见姿态及更接近真实场景的ROM序列。在MPJPE、MRRPE、AP_h等指标上，单手+交互手混合训练使交互手MPJPE从仅单手训练的51.19mm降至16.02mm（单手误差也从13.08mm降至12.16mm），相对深度机制使MRRPE从92.14mm降至32.57mm，STB上EPE 7.95mm超越先前SOTA且无需推理时groundtruth信息，验证了交互手数据与相对深度设计的价值；但交互手误差仍比单手高约32%、远高于深度图方法的8-9mm水平，说明该任务远未解决，未来可将3D手部模型拟合至数据集以获取旋转与网格数据，现实应用（如VR/AR头戴设备的手部捕捉）中还需应对严重遮挡导致的失败。\n\n### 关键要点\n- InterHand2.6M是首个大规模真实（非合成）RGB 3D手部姿态数据集，同时包含单手与交互手序列，共2.6M标注帧、26名受试者（19男7女），涵盖预定义姿态（PP）与对话式手势（ROM）两类序列。\n- 数据在配备80-140台相机（4096×2668分辨率、30-90fps）和350-450盏定向LED灯的多视角工作室采集，标定像素RMSE为0.42-0.48；发布时降采样至512×334以保护指纹隐私。\n- 标注采用两阶段半自动方案：人工借助6视图工具标注94,914张2D图像并三角化，再由EfficientNet骨干的2D关键点检测器结合RANSAC三角化进行机器标注，机器标注在全部90视图下3D误差仅2.78mm。\n- InterNet以裁剪并缩放至256×256的手部图像为输入，基于ResNet-50特征同时输出手性概率、左右手2.5D姿态3D高斯热图（J×64×64×64）与右手相对左手深度。\n- 2.5D姿态的x/y轴位于图像空间、z轴为腕关节相对深度，兼具图像对齐特性与不确定性建模能力；右手相对左手深度通过1D热图加soft-argmax获得，比直接回归更准确。\n- 当右手可见（h^R≥0.5）时用 z^R+z^{R→L} 代替RootNet输出的左手绝对深度，MRRPE从92.14mm降至32.57mm，有效缓解了裁剪图像的深度歧义。\n- 训练使用手性二元交叉熵、2.5D热图L2与相对深度L1三个损失端到端优化，Adam优化器、批大小64、初始学习率1e-4、20个epoch、4块TitanV GPU耗时48小时，推理速度53fps。\n- 消融实验表明：仅用单手数据训练的模型交互手MPJPE为51.19mm，而单手+交互手混合训练降至16.02mm，同时单手误差也从13.08mm降至12.16mm，证明交互手数据对3D交互手估计不可或缺。\n- 机器标注虽单点精度略逊人工，但覆盖更广的手部姿态空间（t-SNE验证），人机标注结合的Train(H+M)在所有测试集上取得最佳精度。\n- 在STB数据集上InterNet取得7.95mm EPE，超越Zimmermann、Yang、Spurr等先前方法，且不依赖推理时的尺度与手性groundtruth信息。\n- InterNet在InterHand2.6M Test(H+M)上达到99.09 AP_h与32.57mm MRRPE，但交互手MPJPE（16.02mm）比单手（12.16mm）高约32%，且远高于深度图方法的8-9mm，表明单RGB交互手估计远未解决。\n- 结合Tzionas等仅含2D标注的数据集联合训练后，InterNet可从一般环境图像成功输出3D交互手姿态；严重遮挡仍是主要失败原因，适用场景为手部居中的输入（如VR/AR头戴设备捕捉）。"
}