{
  "paper_id": "24a0532ed0dfa5f1199a3f5231b16344",
  "paper_title": "Joint Hand Detection and Rotation Estimation by Using CNN",
  "paper_authors": [
    "Xiaoming Deng",
    "Ye Yuan",
    "Yinda Zhang",
    "Ping Tan",
    "Liang Chang",
    "Shuo Yang",
    "Hongan Wang"
  ],
  "publication_date": "",
  "publication_venue": "ArXiv",
  "abstract": "Hand detection is essential for many hand-related tasks, e.g. parsing hand pose, understanding gesture, which are extremely useful for robotics and human-computer interaction. However, hand detection in uncontrolled environments is challenging due to the flexibility of wrist joint and cluttered background. We propose a deep learning-based approach which detects hands and calibrates in-plane rotation under supervision at the same time. To guarantee the recall, we propose a context-aware proposal generation algorithm which significantly outperforms the selective search. We then design a convolutional neural network (CNN) which handles object rotation explicitly to jointly solve the object detection and rotation estimation tasks. Experiments show that our method achieves better results than state-of-the-art detection models on widely-used benchmarks such as Oxford and Egohands database. We further show that the estimation and classification can mutually benefit each other.",
  "keywords": [
    "Hand detection",
    "rotation estimation",
    "convolutional neural networks"
  ],
  "paper_institutions": [],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:27:29.247588Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n手部检测是手部姿态解析与手势理解等任务的基础，对机器人与人机交互应用极为重要，但在非受控环境中，由于手腕关节的高度灵活性和背景杂乱，单图像手部检测仍极具挑战性。以往方法（如基于皮肤颜色模型、HOG/Haar模板与可变形部件模型、逐像素标注以及先估计姿态再检测的两阶段方法）通常将旋转估计与检测分离或迭代处理，难以达到全局最优。本文提出首个联合估计手部面内旋转并执行检测的深度学习框架：首先利用基于AlexNet conv5层特征训练的多组件线性SVM生成判别式区域候选，显著优于selective search和objectness；随后设计包含共享卷积层、旋转网络、去旋转层和检测网络的CNN结构，其中去旋转层通过旋转矩阵 R_α = [[cosα, -sinα], [sinα, cosα]] 显式旋转特征图，使旋转估计与检测任务能够端到端联合优化。实验选用Oxford手部数据集（13050个带边界框和旋转标注的手部，背景杂乱、视角变化多，用于验证复杂场景下的检测能力）和EgoHands数据集（48个Google Glass第一人称双人交互视频，用于验证泛化能力），采用召回率、MABO、旋转误差阈值精度和平均精度（AP）等指标评估。结果显示候选生成方法达到近100%召回率和74.1%的MABO（仅用7644个候选框）；联合模型在Oxford数据集上AP达48.3%，比当时最优DPM方法高11.5%；在EgoHands数据集上AP为75.7%（分离模型），超过基线的73.3%；联合训练比分离训练提升约2%的AP，证明估计与分类可相互促进。效率方面，在配备Nvidia Titan X的四核2.9GHz PC上每张500×400像素图像检测仅需约8秒，远快于DPM方法的55秒。未来可通过引入皮肤区域检测增强难例挖掘、采用区域候选网络和ROI池化共享卷积特征进一步提升效率与性能。该方法适用于机器人与人机交互等实际场景，但受限于皮肤相似区域（如脸部、手臂）易造成误检，且旋转估计在10度容差内的精度约为48%。\n\n### 关键要点\n\n- 提出首个联合估计手部面内旋转与检测的CNN框架，通过可微分的去旋转层实现两任务的端到端联合优化。\n- 去旋转层以旋转矩阵 R_α 对特征图进行显式旋转变换，采用逆映射和四邻域插值实现前向计算，反向传播通过记录坐标映射完成，类似池化层和ROI层机制。\n- 候选区域生成采用判别式方法：按纵横比将训练数据聚为8个子组，每组用AlexNet conv5层池化特征训练线性SVM，在验证集上学习阈值保证正样本100%覆盖（IOU≥0.5）。\n- 候选生成性能：在Oxford手部测试集上达到99.9%召回率和74.1% MABO，仅用7644个候选框，显著优于selective search（46.1%召回率、41.9% MABO）和objectness（90.2%召回率、61.6% MABO）。\n- 旋转网络将旋转估计表述为回归问题，输出归一化二维向量 (cosα, sinα)，使用L2损失训练；检测网络使用交叉熵损失进行二分类，负样本不贡献旋转网络的梯度。\n- 训练采用分治策略：先用ImageNet预训练初始化共享网络和旋转网络并微调旋转任务，再固定两者微调检测网络，最后端到端联合优化全部网络。\n- 数据增强包括水平翻转（获得左右手不变性）和每个正样本旋转36次（每10度一次），使训练数据扩大36倍至超过600万个候选，来自4096张图像；并采用2-3轮难例挖掘（分数≥0.4的负样本加入训练）。\n- 在Oxford手部数据集上联合模型AP为48.3%，比DPM方法（36.8%）高11.5%，比使用额外手部上下文和皮肤颜色模型的方法（42.3%）高6%；分离模型AP也比R-CNN高4.9%、比ST-CNN高6.6%。\n- 使用真值旋转训练的检测网络AP为50.9%作为性能上界，联合模型仅低2.6%，表明系统优化良好；联合训练比分离训练提升约2%的AP和约1%的旋转估计精度。\n- 在EgoHands数据集上，分离模型AP为75.7%，超过基线方法的73.3%（使用相同候选、NMS和实验设置），旋转估计在30度容差内达87%以上，验证了方法的泛化能力。\n- 效率方面，每张500×400像素图像约需8秒，远快于DPM方法的55秒，得益于区域候选替代滑动窗口以及按估计角度单次去旋转替代暴力角度搜索（时间缩短至1/7）。\n- 误检主要来自皮肤相似区域（如脸部、手臂、脚）及部分非皮肤区域，可通过皮肤区域检测并将皮肤区域负样本有意加入训练数据改进；与无监督学习的ST-CNN相比，本方法的有监督旋转估计避免了模糊变换和大量局部最优问题。"
}