{
  "paper_id": "dcc5627be4e0ac186e6050b2b77778c8",
  "paper_title": "JGR-P2O: Joint Graph Reasoning Based Pixel-to-Offset Prediction Network for 3D Hand Pose Estimation from a Single Depth Image",
  "paper_authors": [
    "Linpu Fang",
    "Xingyan Liu",
    "Li Liu",
    "Hang Xu",
    "Wenxiong Kang"
  ],
  "publication_date": "",
  "publication_venue": "ECCV 2020 (Lecture Notes in Computer Science)",
  "abstract": "当前基于单幅深度图像的先进3D手部姿态估计方法多依赖密集预测，包括体素到体素预测、点到点回归和像素级估计。这些方法虽性能良好，但天然存在精度与效率难以兼顾、局部卷积学到的特征表达较单一等问题。本文提出一种新的像素级预测方法：一方面显式建模关节之间的依赖以及像素与关节之间的关系，以增强局部特征表达；另一方面将密集像素偏移预测与直接关节回归统一起来进行端到端训练。具体而言，先设计基于图卷积网络的关节图推理模块，建模关节间复杂依赖并增强每个像素的表达能力；随后在图像平面和深度空间密集估计所有像素到关节的偏移，通过对所有像素预测进行加权平均计算关节位置，完全摒弃复杂后处理。模型采用高效的二维全卷积网络骨干，参数量约140万。在多个3D手部姿态估计基准上的大量实验表明，该方法取得新的先进精度，并在单块NVIDIA 1080Ti GPU上以约110 fps高效运行。代码位于 <https://github.com/fanglinpu/JGR-P2O>。\n",
  "keywords": [
    "3D手部姿态估计",
    "深度图像",
    "图神经网络"
  ],
  "paper_institutions": [
    "South China University of Technology",
    "Center for Machine Vision and Signal Analysis, University of Oulu",
    "Huawei Noah's Ark Lab"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:20:01.237063Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对单幅深度图像3D手部姿态估计中，现有检测式密集预测方法存在精度与效率权衡差、3D CNN体素模型参数庞大、像素或点级方法依赖不可微后处理且局部卷积忽略关节全局依赖等问题，本文在消费级深度相机普及、ICVL/NYU/MSRA等标注数据集提供训练样本以及检测式方法通常因姿态重参数化而优于直接回归的背景下，提出JGR-P2O。该模型以高效2D FCN和两个堆叠hourglass为骨干，先通过像素到关节投票将局部特征汇总为关节特征，在关节无向图上用GCN推理关节依赖，再通过逆映射把演化后的关节特征传回像素并与原始特征融合；P2O模块为每个关节预测所有像素在UVZ三个方向的偏移，并以归一化权重加权聚合得到关节坐标，核心机制可写为 $(u_{j_k},v_{j_k},z_{j_k})=\\sum_i w_{ki}[(u_{p_i},v_{p_i},z_{p_i})+(\\Delta u_{ki},\\Delta v_{ki},\\Delta z_{ki})]$，无需取最大值或邻域点等后处理，并由Huber坐标损失和像素偏移损失端到端监督。选择三个常用基准是为了在不同相机、关节数和采集协议下检验泛化能力：ICVL含16个关节，NYU使用视角1的14个关节且因更具挑战被用于消融，MSRA含21个关节并采用留一受试者交叉验证；实现中裁剪手部区域并缩放至96×96，深度归一化到[-1,1]，使用Adam及旋转、缩放、平移增强，以平均3D距离误差和成功帧比例评价。结果显示，ICVL、NYU平均误差分别为6.02mm和8.29mm，均为最低，MSRA为7.55mm、仅比最佳DenseReg高0.35mm；模型约1.4M参数，在1080Ti上达111.2fps，含2ms读取预处理和7ms推理，NYU消融中偏移损失和JGR分别降低0.29mm和2.25mm，支持联合偏移回归与图上下文增强的创新。该技术可服务于VR/AR、机器人抓取等非接触人机交互，但手部高自由度、严重自遮挡和深度图质量低仍是现实约束，后续可在复杂遮挡、手物交互、边缘设备部署及更广泛定性与泛化分析上继续探索。\n\n### 关键要点\n\n- JGR-P2O将3D手部姿态分解为图像平面UV坐标和深度Z坐标，利用深度图的2.5D特性进行逐像素偏移预测。\n- JGR模块通过空间softmax产生像素到关节的投票权重，将全部像素的变换特征加权汇总为每个关节的全局特征。\n- 每个关节被定义为无向图节点，GCN按照 $F^e=\\operatorname{ReLU}(A^eFW^e)$ 传播特征，以显式建模关节之间的依赖关系。\n- 增强后的关节特征按相同投票权重映射回像素，并与原始局部特征拼接融合，生成增强的像素级特征图。\n- P2O模块通过1×1卷积输出3N张偏移图，关节坐标由所有像素“自身UVZ坐标加预测偏移”的加权平均得到。\n- 训练同时使用Huber坐标回归损失和Huber像素偏移回归损失，两个hourglass阶段均施加中间监督，偏移损失权重为0.0001。\n- 实验在ICVL、NYU和MSRA上进行；NYU仅使用视角1和14个关节，MSRA按9名受试者执行留一受试者交叉验证。\n- 输入手部区域被裁剪并缩放为96×96，深度值归一化到[-1,1]，训练采用平面旋转、3D缩放和3D平移等在线数据增强。\n- 在NYU消融中，基础P2O平均误差为10.83mm，加入偏移损失后降至10.54mm，再加入JGR模块后降至8.29mm。\n- 与注意力模块和可微热图DHM相比，JGR-P2O在NYU上的平均误差分别低0.43mm和0.40mm，且整体参数量约1.37M。\n- 总体对比中，方法在ICVL和NYU上分别取得6.02mm和8.29mm的最低平均误差，在MSRA上取得7.55mm，模型约1.4M参数、测试速度为111.2fps。\n- 该方法无需复杂后处理并可端到端训练，但手部高自由度、手指自遮挡和深度图像质量低仍会限制实际估计性能。"
}