{
  "paper_id": "867f0a522b0e5292f6754d86ed6e4d37",
  "paper_title": "HandR $^{2}$N $^{2}$: Iterative 3D Hand Pose Estimation Using a Residual Recurrent Neural Network",
  "paper_authors": [
    "Wencan Cheng",
    "Jong Hwan Ko"
  ],
  "publication_date": "",
  "publication_venue": "2023 IEEE/CVF International Conference on Computer Vision (ICCV)",
  "abstract": "3D手部姿态估计是多种人机交互应用中的关键任务。该领域已有大量基于深度学习的估计模型，但现有模型通常采用非循环结构，为获得足够模型容量需要复杂架构或冗余参数。针对该限制，本文提出紧凑神经网络HandR²N²，利用新颖的残差循环单元迭代回归手部姿态。循环设计使其能够递归复用部分网络层，逐步优化先前估计的关节位置；同时结合图推理捕捉关节间的运动学依赖。实验结果表明，该模型在ICVL、MSRA和NYU三个手部姿态基准数据集上的精度与效率均优于现有方法。代码与预训练模型已公开发布。\n",
  "keywords": [
    "3D手部姿态估计",
    "深度图像",
    "点云",
    "残差循环神经网络",
    "残差循环单元",
    "图卷积网络",
    "迭代细化",
    "注意力GRU"
  ],
  "paper_institutions": [
    "Department of Artificial Intelligence, Sungkyunkwan University",
    "College of Information and Communication Engineering, Sungkyunkwan University"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:18:05.835850Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对深度图像单帧3D手部姿态估计中2D CNN难以学习2D到3D高非线性映射、3D CNN体素表示计算量随分辨率立方增长、PointNet点云方法简洁准确但现有模型普遍采用非循环前馈结构的问题，本文指出这些方法需依赖复杂架构或冗余参数扩充容量，难以适配可穿戴、手持等资源受限设备。受循环结构可递归复用共享参数、迭代优化以及GCN适合建模图结构手部数据的启发，本文提出HandR²N²。网络将深度图通过相机内参转为点云，选择1024个点以平衡几何信息与计算量；PointNet++式局部编码器提取特征，初始化模块生成关节级隐状态S0和初始关节J0；残差循环单元展开I次，重采样器在上一轮关节周围采集K近邻并转为相对坐标，通道级GCN以S'=ReLU(ASW)按通道独立邻接矩阵建模运动学依赖，基于set_conv和逐点MLP的注意力GRU筛选高相关局部点并更新状态，核心残差回归机制为J_i=ΔS_i W+J_{i-1}，从而把状态增量转化为关节位移。实验在ICVL、MSRA、NYU三个具有不同关节数量、视角和遮挡难度的公认基准上进行，以验证跨场景泛化能力；采用A100与PyTorch，AdamW、批量大小32、160轮训练及随机旋转、缩放、平移增强，批归一化仅用于局部编码器和初始化器。评价使用平均关节误差、成功率以及参数量、FLOPs和耗时；论文报告ICVL 5.70mm、MSRA 6.42mm、NYU 7.27mm，ICVL与MSRA达到最优水平，NYU详细对比中为第二低，成功率在低阈值区间优势明显，且模型只有1.3M参数、计算量为0.72+0.34I GFLOPs，支持训练迭代Itr=3并在推理时动态改变Iin。这些结果支持局部迭代重采样、注意力点选择、通道级图推理和残差修正能以共享参数提升容量与效率。该方法可用于机器人、AR/VR等自然人机交互场景，资源紧张时减少迭代，追求精度时增加迭代；但严重自遮挡会导致关节周围缺少有效采样点，未来可扩展到时间序列学习以利用上下文缓解性能退化。\n\n### 关键要点\n\n- HandR²N²以深度图经相机内参转换并归一化后的3D点为输入，输出从初始姿态到第I次迭代的关节坐标序列，最终取最后一次估计结果。\n- 局部编码器采用最远点采样和一层PointNet++ set_conv提取局部几何特征，初始化模块再用级联set_conv与BIL生成关节级隐状态和初始关节J0。\n- 残差循环单元每次在上一轮估计关节周围重采样K个近邻点及其特征，并将坐标平移到以该关节为原点的相对坐标系，避免重复计算全局点特征。\n- 残差图GRU先通过通道级独立邻接矩阵的GCN演化隐状态，每个隐状态通道拥有各自的关节关系矩阵，以捕捉手指与手腕间的运动学依赖。\n- 注意力重置门由逐点MLP计算各采样点权重，使网络提高靠近真实位置或高相关点的贡献，再由基于set_conv的GRU更新关节隐状态。\n- 残差机制计算ΔS_i=S_i-S_{i-1}，残差回归器通过J_i=ΔS_i W+J_{i-1}把隐状态变化转为关节位移，保证迭代是相对修正而非重新绝对回归。\n- 训练对初始输出和全部迭代输出采用smooth L1损失，并以λ=0.8对不同迭代加权；优化器为AdamW，学习率0.001，训练160轮并在120轮后衰减0.1。\n- ICVL、MSRA、NYU分别使用16、21、14个受测关节；MSRA采用留一受试者交叉验证，ICVL和NYU按既有方法裁剪手部区域，NYU只选择单视角和14个关节。\n- 在线增强包括绕z轴[-120,120]度、绕x/y轴[-30,30]度随机旋转，[0.8,1.2]缩放以及[-20,20]mm平移，用于提升姿态变化泛化能力并抑制过拟合。\n- 论文报告最佳平均关节误差为ICVL 5.70mm、MSRA 6.42mm、NYU 7.27mm；详细表中NYU为第二低，最低的Deng et al.为6.84mm但总耗时约48.5ms。\n- 模型仅1.3M参数，基础计算量为0.72GFLOPs，每增加一次迭代增加0.34GFLOPs和约1.8ms，可通过推理迭代数在效率与精度之间动态权衡。\n- NYU消融实验显示完整GRU+GCN+残差配置误差为7.36mm，优于去掉任一组件；采样点数K在48左右饱和，训练迭代Itr=3最佳，过长反向传播路径反而会降低性能。"
}