{
  "paper_id": "a7dd2dc645d4e84e4129035c9d1446c9",
  "paper_title": "CrossInfoNet: Multi-Task Information Sharing Based Hand Pose Estimation",
  "paper_authors": [
    "Kuo Du",
    "Xiangbo Lin",
    "Yi Sun",
    "Xiaohong Ma"
  ],
  "publication_date": "",
  "publication_venue": "2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)",
  "abstract": "本文研究利用卷积神经网络从单张深度图进行基于视觉的手部姿态估计。主要贡献是提出名为 CrossInfoNet 的新型姿态回归网络架构。该网络将手部姿态估计分解为手掌姿态估计和手指姿态估计两个子任务，并采用双分支交叉连接结构在子任务之间共享有益的互补信息。该设计受到多任务信息共享机制启发，而以往基于深度数据的手部姿态估计对此讨论较少。此外，本文提出热图引导的特征提取结构以获得更好的特征图，并对完整网络进行端到端训练。通过在四个公开手部姿态数据集上进行大量自比较实验以及与现有先进方法比较，验证了 CrossInfoNet 的有效性。\n",
  "keywords": [
    "手部姿态估计",
    "深度图",
    "卷积神经网络",
    "多任务学习",
    "信息共享",
    "交叉连接",
    "热图引导",
    "端到端训练"
  ],
  "paper_institutions": [
    "中国大连理工大学"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:18:52.251325Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文针对单张深度图到三维手部关节坐标映射高度非线性、手指关节高度灵活、局部自相似和严重遮挡导致估计困难的问题，在多任务学习尚未被深度手部姿态估计充分利用的背景下，提出基于多任务信息共享的 CrossInfoNet。网络先以高效的 ResNet-50 四个残差模块结合特征金字塔进行初始特征提取，并用 24×24 二维热图作为约束引导学习 12×12、256 通道的特征图 T，热图不传入后续阶段，从而避免热图检测中最大值操作不可微、只能后处理的缺陷；随后将关节划分为相对稳定的手掌关节和灵活的手指关节，由两个分支分别回归，并通过核心交叉机制 $F_-=T-P_0$、$P_-=T-F_0$ 从全局特征中减去另一任务主导特征以生成注意力掩码，再将掩码与对应分支特征拼接增强，使一个分支中的“噪声”成为另一分支的补充信息，最后端到端回归三维坐标。训练时手部区域被裁剪并缩放为 96×96，深度值归一化到 [-1,1]，采用随机旋转、平移、缩放等在线增强，Adam 优化器初始学习率为 1e-3、批大小 128、权重衰减 1e-5、dropout 为 0.6，检测损失与回归损失权重分别为 0.01 和 1；选择 ICVL、NYU、MSRA 和 HANDS 2017 四个通用公开数据集，是因为它们覆盖不同标注协议、规模和跨主体评估方式，既能通过 ICVL 与 NYU 做消融验证热图约束和交叉连接的独立贡献，也能通过 MSRA 留一主体协议和 HANDS 2017 的大规模未见主体测试检验泛化能力。评价指标采用预测关节与真值关节的平均三维距离误差以及低于误差阈值的成功帧比例；消融实验中完整模型在 ICVL 和 NYU 上的平均误差分别为 8.48mm 和 10.08mm，相比基线分支分别降低 0.60mm 和 0.76mm，证明热图引导和多任务信息共享均能提升精度，与先进方法比较时在 ICVL、NYU 上达到 6.73mm 和 10.08mm，在 MSRA 上达到 7.86mm，并在单 GPU 上实现 124.5fps，明显快于 V2V、DenseReg 和 Point-to-Point，且在 HANDS 2017 帧级挑战赛中获得第一名并在未见数据上表现最佳。该方法适用于虚拟现实、机器人和人机交互等需要实时深度手部姿态估计的场景，但仍依赖裁剪后的深度输入和深度传感器，精度低于部分使用三维体素或点云的方法，在严重遮挡和复杂手物交互中仍受限，未来可进一步探索该信息共享机制对更多模态、遮挡场景和手部相关任务的扩展。\n\n### 关键要点\n\n- CrossInfoNet 以单张二维深度图为输入，手部区域经裁剪和缩放后统一为 96×96，深度值归一化到 [-1,1]，以利用成熟高效的二维 CNN 并避免三维体素方法的较大参数开销。\n- 初始特征提取模块采用带四个残差模块的 ResNet-50 和特征金字塔结构，输出 12×12、256 通道的特征图 T，并用 24×24 热图进行监督。\n- 热图在该网络中只作为引导特征提取的约束，不作为最终检测结果或后续模块输入，因此无需用不可微的最大值操作提取坐标，可保持端到端训练。\n- 网络依据手部运动特性将关节划分为手掌关节和手指关节，分别由手掌分支和手指分支处理，以降低稳定手掌姿态与灵活手指姿态混合回归的难度。\n- 交叉连接的核心是从 T 中减去手掌主导特征得到手指残差掩码 $F_-=T-P_0$，并同理得到手掌掩码 $P_-=T-F_0$，再将掩码跨分支拼接以增强对应特征。\n- 与 Cross-stitch 网络的延迟融合相比，该方法通过减法和显式跨接主动区分手掌、手指信息，减少不相关子任务干扰并把有用“噪声”转化为补充信息。\n- 总损失由热图检测损失和关节坐标回归损失组成，形式为 $L=0.01(L_{ht}+L_{bp}+L_{bf})+(L_{ep}+L_{ef}+L_a)$，同时监督手掌、手指和全部关节。\n- 训练使用随机旋转、平移和缩放在线增强，优化器为 Adam，批大小 128，初始学习率 1e-3，每轮衰减 0.96，dropout 率为 0.6，共训练 110 轮。\n- 消融实验显示，完整 CrossInfoNet 在 ICVL 和 NYU 上的平均三维误差分别为 8.48mm 和 10.08mm，相比带热图的双分支基线分别降低 0.60mm 和 0.76mm。\n- 在三个公开数据集上，CrossInfoNet 的平均误差分别为 ICVL 6.73mm、NYU 10.08mm、MSRA 7.86mm，并在单块 RTX 2080 Ti 上达到 124.5fps。\n- 该方法在 HANDS 2017 帧级挑战赛中获得第一名，并在未见主体数据上表现最佳，但在精度上仍低于部分三维输入方法，且适用前提是可获得裁剪后的深度图。"
}