{
  "paper_id": "2c9f6009e4b446b707aaad0abbde8e3f",
  "paper_title": "Pose Guided Structured Region Ensemble Network for Cascaded Hand Pose Estimation",
  "paper_authors": [
    "Xinghao Chen",
    "Guijin Wang",
    "Hengkai Guo",
    "Cairong Zhang"
  ],
  "publication_date": "",
  "publication_venue": "Neurocomputing",
  "abstract": "从单张深度图像进行手部姿态估计是计算机视觉与人机交互领域的重要课题。尽管卷积神经网络已推动该领域取得进展，但精确的手部姿态估计仍具挑战性。本文提出一种名为姿态引导结构化区域集成网络（Pose-REN）的新方法以提升手部姿态估计性能。该方法在初始估计姿态的引导下，从卷积神经网络特征图中提取区域，生成更优化、更具代表性的特征；随后依据手部关节拓扑，通过树状全连接层次化地整合所提取的特征区域，以回归得到精细化手部姿态，并采用迭代级联方法获得最终结果。在多个公开手部姿态数据集上的综合实验表明，该方法优于现有先进算法。\n",
  "keywords": [
    "手部姿态估计",
    "卷积神经网络",
    "人机交互",
    "深度图像"
  ],
  "paper_institutions": [
    "Department of Electronic Engineering, Tsinghua University, Beijing 100084, China",
    "AI Lab, Bytedance Inc., Beijing, China"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:18:15.221861Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文解决单张深度图像的三维手部姿态估计问题，服务于人机交互、虚拟现实等实际场景；尽管深度相机普及且卷积神经网络显著提升了性能，但自遮挡、手部关节高度复杂、深度噪声与孔洞、视角大幅变化以及手指间自相似性仍使精确估计困难。现有方法多通过热图或直接坐标回归，并结合先验知识、误差反馈或空间注意力，但对卷积特征图中更优代表性特征挖掘不足，REN的均匀网格区域提取和平等融合也未能充分利用关节空间位置与手部拓扑约束。作者提出Pose-REN：Init-CNN先给出初始姿态，每个级联阶段以深度图和上一阶段姿态为输入，由含6个卷积层和2个残差连接的CNN生成特征图，将关节三维坐标投影到图像及特征图坐标，并以关节为中心裁剪7×7特征区域，核心迭代机制为 $\\mathcal{P}^{t}=\\mathcal{R}(\\mathcal{P}^{t-1},\\mathcal{D})$；随后采用树状结构化全连接，先融合同一手指（含手掌）的关节特征，再融合五根手指的特征并回归全部关节坐标。ICVL、NYU和MSRA三个公开基准被用于实验，因其在关节数量、采集相机、受试者划分和视角变化上各具差异，可验证方法的泛化能力与视角鲁棒性；实现上以手部质心为中心提取固定立方体，缩放为96×96并将深度归一化到[-1,1]，基于Caffe和RoI Pooling开发，采用SGD、批大小128、动量0.9、权重衰减0.0005、初始学习率0.001，并使用随机缩放、平移、旋转及smooth L1损失，训练两个阶段，推理阶段共享同一模型并迭代T=3次。评价指标包括逐关节平均欧氏误差、2D/3D平均关节误差以及不同距离阈值下的成功率；Pose-REN在NYU上达到3D误差11.81mm、2D误差5.53像素，比REN 9×6×6降低0.88mm，在ICVL上达到6.793mm、较REN降低0.514mm（7.04%），在MSRA上达到8.649mm，并在几乎所有偏航和俯仰角度下保持最小或接近最小误差，证明其对视角变化更鲁棒。结构化融合相对无结构版本在NYU、ICVL、MSRA上分别降低约0.5%、2.0%和0.9%，姿态引导区域在参数量对齐时优于网格区域，不同初始化实验则表明该框架可提升DeepPrior、Feedback、DeepModel等初始结果，从而支持姿态引导特征提取和层次化关节融合两项关键创新。该方法的约束包括依赖深度立方体预处理和初始姿态，对于误差阈值约30mm以上的困难样本，其成功率略低于REN，主要原因是初始姿态较差；当前研究主要面向单手无交互场景，未来将探索双手或手物交互条件下的鲁棒估计，将手部检测与姿态估计整合到Faster R-CNN或Mask R-CNN等统一框架，并推广到人体姿态估计、人脸对齐等更多铰接物体姿态任务。\n\n### 关键要点\n\n- 研究任务是从单张深度图像回归三维手部关节坐标，主要应用于人机交互和虚拟现实，但面临自遮挡、关节变形、深度缺失和视角变化等挑战。\n- Pose-REN采用级联结构，Init-CNN产生初始姿态，随后同一回归模型在推理阶段反复利用上一阶段姿态和深度图进行精细化。\n- 姿态引导区域提取将先前估计的关节三维坐标投影到特征图坐标，并围绕关节位置裁剪固定大小的7×7特征窗口，而非使用REN的均匀网格。\n- 结构化区域集成依据手部拓扑组织全连接：同一手指的关节特征先拼接融合，随后五根手指的特征再拼接并回归最终3D姿态。\n- 网络主干包含6个卷积层和2个残差连接，每个相关全连接层维度为2048，后接ReLU和丢弃率0.5的dropout层。\n- 实验使用ICVL、NYU和MSRA三个公开数据集；评估时分别遵循其测试集划分、正面视角协议或留一受试者交叉验证协议。\n- 预处理从深度图中提取以手部质心为中心的固定立方体，缩放为96×96并归一化深度，以降低手部大小和相机距离变化的影响。\n- 训练采用随机缩放、平移、旋转增强和smooth L1损失，每个阶段训练100个epoch，共训练两个阶段，推理时迭代3次。\n- 在NYU数据集上，Pose-REN取得11.81mm的3D平均误差和5.53像素的2D平均误差，优于REN、Feedback、DeepModel和Mask R-CNN等方法。\n- 在ICVL数据集上，该方法平均误差为6.793mm，相比REN降低0.514mm，相对提升约7.04%。\n- 在MSRA数据集上，该方法平均误差为8.649mm，并在不同偏航、俯仰角度下表现稳定，显示出较强的视角变化鲁棒性。\n- 消融实验证明姿态引导区域和结构化融合均有效，且方法对不同初始化具有较强鲁棒性；但较差初始姿态会影响极端困难样本，未来需处理手物交互和检测一体化问题。",
  "available_templates": [
    "deep_read",
    "simple"
  ]
}