{
  "paper_id": "3e70da332ac248d4109a7a2ba19fc99e",
  "paper_title": "HandFoldingNet: A 3D Hand Pose Estimation Network Using Multiscale-Feature Guided Folding of a 2D Hand Skeleton",
  "paper_authors": [
    "Wencan Cheng",
    "Jae Hyun Park",
    "Jong Hwan Ko"
  ],
  "publication_date": "",
  "publication_venue": "2021 IEEE/CVF International Conference on Computer Vision (ICCV)",
  "abstract": "With increasing applications of 3D hand pose estimation in various human-computer interaction applications, convolution neural networks (CNNs) based estimation models have been actively explored. However, the existing models require complex architectures or redundant computational resources to trade with the acceptable accuracy. To tackle this limitation, this paper proposes HandFoldingNet, an accurate and efficient hand pose estimator that regresses the hand joint locations from the normalized 3D hand point cloud input. The proposed model utilizes a folding-based decoder that folds a given 2D hand skeleton into the corresponding joint coordinates. For higher estimation accuracy, folding is guided by multi-scale features, which include both global and joint-wise local features. Experimental results show that the proposed model outperforms the existing methods on three hand pose benchmark datasets with the lowest model parameter requirement. Code is available at <https://github.com/cwc1260/HandFold>.\n",
  "keywords": [
    "3D hand pose estimation",
    "point cloud",
    "folding network",
    "multi-scale features",
    "PointNet",
    "deep learning",
    "human-computer interaction"
  ],
  "paper_institutions": [
    "Department of Artificial Intelligence, Sungkyunkwan University",
    "College of Information and Communication Engineering, Sungkyunkwan University"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:19:44.918846Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对现有基于CNN的三维手部姿态估计模型依赖复杂架构或冗余计算资源才能换取可接受精度的问题，本文在2D CNN难以充分利用深度图像三维空间信息、3D CNN显存消耗随分辨率立方增长、点云回归方法仅依赖单一全局特征而检测方法向所有点冗余传播层次特征的研究背景下，提出了HandFoldingNet——一种从归一化三维手部点云回归关节坐标的精确高效估计器。该模型受FoldingNet启发，以折叠为核心机制，通过分层PointNet编码器提取多级局部特征与单个全局特征，先由全局特征引导折叠解码器将依据训练集平均链接长度手工构建的固定二维手部骨架折叠为初始三维关节坐标，再由关节级局部特征引导折叠块以初始坐标为质心分组邻域局部特征，并通过折叠嵌入重排显式建模相邻关节间空间依赖，最终经MLP-最大池化-MLP对称结构与残差机制输出修正坐标，其核心公式为 j_j^k = h_r(MAX_{1≤s≤S}(h_f([p_{s,j}^l - j_j^{k-1}, f_{s,j}^l, e_j^{k-1}]))) + j_j^{k-1}。论文在ICVL、MSRA和NYU三个通用基准数据集上评估，这些数据集分别包含16、21和14个评估关节，涵盖不同手势、受试者和采集视角，可全面验证方法的准确性与泛化性；实验基于PyTorch与NVIDIA TITAN RTX，采用Adam优化器（β1=0.5, β2=0.999, lr=0.001）、1024个输入点、batch size 32及随机旋转、缩放、平移等在线数据增强，以平均距离误差和成功率为评价指标。结果表明，HandFoldingNet在ICVL上取得5.95mm的最优平均误差，在MSRA和NYU上分别取得7.34mm和8.58mm，在三个数据集的回归方法中均达到最优，并在低阈值成功率上领先，且仅需1.28M参数、实现84fps实时推理，这些结果支持了多尺度特征引导折叠在精度与效率平衡上的核心创新。消融实验进一步验证了局部折叠块、局部特征、空间依赖及第一集合抽象层特征选择的有效性，而三重折叠后性能饱和、第三个局部折叠块梯度干扰反传则指出了未来在训练策略与折叠结构优化方面的探索方向。该方法适用于虚拟现实、增强现实等人机交互场景，但面临手部自遮挡、深度传感器噪声、姿态高维度与多样朝向等约束，且实时推理依赖GPU及8.2ms点云预处理。\n\n### 关键要点\n\n- HandFoldingNet以包含归一化三维xyz坐标和三维表面法向量的N×6点云矩阵为输入，输出J×3的三维关节坐标矩阵。\n- 分层PointNet编码器由三级集合抽象层组成，通过球查询分组邻域、共享权重MLP和通道级最大池化提取多级局部特征，并在最后一级对全体点生成全局特征。\n- 全局折叠解码器将全局特征复制J次后与固定二维手部骨架拼接，经两层MLP生成关节级折叠嵌入，再由一层MLP预测初始三维关节坐标。\n- 固定二维手部骨架通过随机选取训练样本、测量相邻真值关节间平均链接长度、在二维平面展开链接并收集关节坐标而手工构建。\n- 局部折叠块以前一阶段预测的关节坐标为质心，在指定半径内分组S个邻域点的相对局部坐标和对应特征，默认使用第一集合抽象层特征。\n- 折叠嵌入重排机制将每个关节的嵌入与其两个相邻关节嵌入拼接以形成空间依赖图，指尖因仅有一个相邻关节而与自身拼接以保持维度一致。\n- 局部折叠块采用三层MLP、最大池化和另三层MLP的对称聚合结构，并以残差方式将预测相对位移与先前坐标相加。\n- 训练采用对异常值更鲁棒的smooth L1损失，对全局折叠解码器及所有堆叠局部折叠块的坐标输出同时施加监督。\n- ICVL数据集含约22K训练帧和1.6K测试帧、16个关节；MSRA含超76K帧、9名受试者、21个关节，采用留一受试者交叉验证；NYU仅使用单视角14个关节。\n- HandFoldingNet在ICVL上以5.95mm平均误差优于所有对比方法，在MSRA和NYU上分别取得7.34mm和8.58mm，在三维输入和回归方法中均表现最优。\n- 模型仅含1.28M参数，在TITAN RTX上总延迟11.9ms（预处理8.2ms加网络推理3.7ms），达到约84fps实时性能，参数量为同类三维输入方法中最低。\n- 消融实验显示去除局部特征使ICVL误差增加1.55mm，去除空间依赖使误差增加0.40mm；一个全局折叠加两个局部折叠的三重折叠为最佳配置，继续叠加局部折叠会因梯度破坏反传而性能饱和。"
}