{
  "paper_id": "d758f41bb013c53610da073f5a50e493",
  "paper_title": "REGION ENSEMBLE NETWORK: IMPROVING CONVOLUTIONAL NETWORK FOR HAND POSE ESTIMATION",
  "paper_authors": [
    "Hengkai Guo",
    "Guijin Wang",
    "Xinghao Chen",
    "Cairong Zhang",
    "Fei Qiao",
    "Huazhong Yang"
  ],
  "publication_date": "",
  "publication_venue": "2017 IEEE International Conference on Image Processing (ICIP)",
  "abstract": "从单目深度图像估计手部姿态是人机交互领域中一个重要且富有挑战性的问题。近来，设计复杂的深度卷积网络已被用于解决该问题，但其相对于传统方法的提升并不明显。为提升直接三维坐标回归的性能，本文提出树状结构的区域集成网络（REN）：将卷积输出划分为多个区域，并集成各区域上多个回归器的结果。与多模型集成相比，该模型能够完全端到端训练。实验结果表明，所提方法在两个公开数据集上均取得了当前最优性能。\n",
  "keywords": [
    "卷积网络",
    "手部姿态估计",
    "集成学习"
  ],
  "paper_institutions": [
    "清华大学电子工程系，北京"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:20:37.383041Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文研究单目深度图像中的三维手部姿态估计问题，该技术对人机交互和增强现实具有重要意义，但受视角变化大、关节高度灵活、深度质量差、自遮挡及相似部位混淆等因素影响，仍具挑战性；现有卷积网络常依赖多分支输入或多模型回归，结构复杂且相对随机森林方法优势不明显，而多模型集成还会带来较高的内存与时间开销。针对直接回归三维关节坐标，作者提出树状区域集成网络REN，其核心机制是`y = f([g₁(R₁), g₂(R₂), g₃(R₃), g₄(R₄)])`，即共享卷积主干输出的特征图被均匀划分为多个网格区域，每个区域经独立全连接分支提取特征，再将各分支最后一层特征拼接并由额外回归层学习融合，从而以端到端方式预测`3×J`关节坐标。特征提取网络包含六个`3×3`卷积层、ReLU激活和两条残差连接，输出`12×12×64`特征图；每个回归器使用两个2048维全连接层，dropout率为0.5。实验选用ICVL和NYU两个公开手部姿态数据集，前者含30万训练图像、1600测试图像和16个关节，后者含7.2万训练图像、8000测试图像和14个关节，可在不同数据规模和标注设置下验证方法的准确性与泛化能力。实现上遵循已有工作，先分割前景并以手部区域质心为中心提取150mm立方体，缩放为`96×96`且深度归一化到`[-1,1]`，并采用随机平移、缩放和旋转增强；基于Caffe使用SGD训练，批量大小128，初始学习率0.005，每50000次迭代除以10，最多训练200000次，权重衰减0.0005，动量0.9。作者采用每关节平均三维欧氏距离和所有关节误差均低于阈值的成功帧比例作为指标；在ICVL上REN平均误差为7.47mm，优于Basic的8.36mm、Basic Large的8.18mm、Basic Bagging的7.94mm和Region Bagging的7.63mm，并且相对LSN降低0.63mm，相对提升7.77%，在ICVL和NYU上均超过多种当前最优方法。这些结果支持了区域划分、端到端学习各区域贡献以及用拼接特征融合替代简单平均的有效性。该方法在Nvidia Titan X上单次前向约0.31ms、速度超过3000fps，适合实际HCI/AR场景，但仍依赖手部区域质心进行立方体裁剪，且未采用多尺度区域以避免全连接层参数失衡；未来将研究更多卷积网络集成方法，并把通用的区域集成策略推广到人体姿态估计等任务。\n\n### 关键要点\n\n- REN是一种单卷积网络、树状结构的区域集成方法，可直接从单目深度图像回归三维手部关节坐标。\n- 其特征提取部分包含六个`3×3`卷积层、ReLU激活和两条使用`1×1`卷积升维的残差连接，最终输出`12×12×64`特征图。\n- 论文将特征图均匀划分为`2×2`网格，四个区域分别接入含两个2048维全连接层的回归分支，以平衡精度与效率。\n- REN不直接平均各区域输出，而是拼接所有区域最后一层全连接特征，再通过额外回归层学习融合并输出`3×J`坐标。\n- 与仅用于测试的多视角投票不同，区域集成可端到端训练，并同时适用于分类和回归任务。\n- 输入图像经过前景分割、150mm手部立方体提取、`96×96`缩放和`[-1,1]`深度归一化，并使用随机平移、缩放和旋转增强。\n- 实验在ICVL和NYU两个公开数据集上进行，分别评估16个关节和14个关节，覆盖不同训练规模与测试条件。\n- 评价指标包括每关节平均三维欧氏距离（毫米）以及所有关节误差均低于给定阈值的成功帧百分比。\n- 在ICVL自比较中，REN平均误差为7.47mm，优于基础网络、参数规模相近的大型基础网络、基础Bagging和区域Bagging。\n- REN在ICVL上相对LSN平均误差降低0.63mm，相对提升7.77%，并在NYU上优于多视角卷积网络等当前最优方法。\n- REN在Nvidia Titan X GPU上前向时间约0.31ms，速度超过3000fps，且无需多阶段回归或多个独立模型。\n- 论文指出加入中心裁剪没有进一步提升精度，多尺度区域会造成全连接层参数数量不均衡，未来将探索更多集成方式并推广到人体姿态估计。"
}