{
  "paper_id": "bfe6e385882170f222afc7149e7c12c7",
  "paper_title": "HandVoxNet++: 3D Hand Shape and Pose Estimation using Voxel-Based Neural Networks",
  "paper_authors": [
    "Jameel Malik",
    "Soshi Shimada",
    "Ahmed Elhayek",
    "Sk Aziz Ali",
    "Christian Theobalt",
    "Vladislav Golyanik",
    "Didier Stricker"
  ],
  "publication_date": "",
  "publication_venue": "IEEE Transactions on Pattern Analysis and Machine Intelligence",
  "abstract": "从单张深度图估计三维手部形状与姿态是一项具有挑战性的计算机视觉问题。现有方法多使用2D卷积神经网络直接回归手部网格，容易因图像中的透视畸变产生伪影。为此，本文提出HandVoxNet++，这是一种以全监督方式训练、结合3D卷积与图卷积的体素化深度网络。其输入为基于截断符号距离函数（TSDF）的三维体素化深度图，并采用两种手部形状表示：不保持网格拓扑但最准确的三维体素化手部形状，以及保持网格拓扑的手部表面。方法通过新的基于图卷积的神经网格配准GCN-MeshReg，或无需训练数据的经典分段非刚体重力方法NRGA++，将手部表面对齐到体素化手部形状。在SynHand5M、深度HANDS19挑战和HO-3D三个公开基准上的大量实验表明，HandVoxNet++达到了先进性能。作为CVPR 2020方法的期刊扩展，其在SynHand5M和HANDS19上的形状对齐精度分别提高41.09%和13.7%，并在2020年8月提交结果时位列HANDS19挑战Task 1深度三维手部姿态估计第一名。\n",
  "keywords": [
    "单深度图三维手部形状与姿态",
    "体素化手部形状",
    "图卷积",
    "TSDF",
    "三维数据增强",
    "形状配准",
    "GCN-MeshReg",
    "NRGA++"
  ],
  "paper_institutions": [
    "TU Kaiserslautern",
    "DFKI",
    "NUST Pakistan",
    "UPM Saudi Arabia",
    "MPI for Informatics",
    "Saarland Informatics Campus"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:32:34.961618Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对单张深度图同时恢复三维手部形状与姿态时，现有2D CNN直接回归网格易受透视畸变、统计手模型表达能力受限、自遮挡和高度非线性映射影响，而直接回归全部网格顶点的三维热图又会带来极高内存开销，本文提出全监督体素网络HandVoxNet++。该方法先利用相机内参、以手掌中心为中心且边长为250的立方体和截断符号距离函数将深度图编码为88×88×88体素V_D，核心公式为V(k)=min(max(d(k_c)/μ,-1),+1)，其中μ=3，实验表明投影TSDF最适合建立体素输入与关节三维热图之间的一对一映射；随后V2V-PoseNet回归44×44×44关节热图，将其与降采样体素深度图拼接后，V2V-ShapeNet用逐体素二元交叉熵回归64×64×64二值体素形状，V2S-Net用欧氏损失回归保持顶点顺序和拓扑的手部表面，最终通过GCN-MeshReg把3D卷积体素特征提取器得到的2187维特征连接到网格每个顶点，并依据行归一化邻接矩阵执行Y=σ(ÂXW)图卷积和迭代精化，也可选用无需训练数据、基于MANO预定义手部分段的NRGA++进行经典非刚性配准。实验选择SynHand5M、HANDS19 Task 1和HO-3D，分别验证大规模合成形状精度、未见视角/姿态/形状的泛化能力以及手物交互遮挡下的鲁棒性；训练中姿态网络学习率为2.5e-4、批大小为8并使用RMSProp，V2S-Net和V2V-ShapeNet分别使用2.5e-4与0.5e-3学习率，配准网络使用Adam、学习率3e-4和批大小12，均在Nvidia Titan X上训练至收敛，并采用x/y轴±40°、z轴±120°旋转、0.8至1.2倍缩放和±8平移的三维增强。评价采用平均三维关节位置误差、平均顶点位置误差和平均体素化形状二元交叉熵；GCN-MeshReg在SynHand5M上取得1.72mm顶点误差、较DispVoxNet提升41.09%，在HANDS19上将最终形状误差降至3.57mm、较HandVoxNet提升13.7%，投影TSDF在HANDS19取得13.35mm主误差并在2020年8月提交时排名第一，较二值体素V2V提升19.8%，HO-3D测试集姿态与网格误差分别为2.46cm和2.70cm，HANDS17关节误差为8.92mm。运行时间上，GCN-MeshReg为0.0341秒、比DispVoxNet快78.9%，NRGA++为0.45秒、比NRGA快约150倍，全神经配置每秒可恢复30个以上手部形状，支持其在身份认证、AR/VR、游戏、影视制作、人机交互和人体表现捕捉中的应用；主要限制是严重手物遮挡时会失败、学习型配准依赖手部形状标注、TSDF生成比二值占用网格更耗时，未来可融合彩色信息、引入时序形状上下文并扩展到交互双手重建。\n\n### 关键要点\n\n- HandVoxNet++包含三个阶段：V2V-PoseNet估计三维关节热图，V2V-ShapeNet与V2S-Net分别估计体素化形状和手部表面，最后通过网格配准输出保持拓扑的三维手形。\n- 输入深度图被转换为88×88×88的TSDF体素，截断距离μ=3；投影TSDF比二值占用网格保留更多三维点云信息，并能与关节热图形成一对一映射。\n- V2V-ShapeNet输出的64×64×64二值体素形状精度高但不保持网格拓扑，V2S-Net输出的表面保持顶点顺序和数量但精度较低，因此需要将二者优势结合。\n- 将关节热图与体素深度图拼接作为形状网络输入效果最好；在SynHand5M上，联合输入使体素形状误差降至0.005、顶点误差降至3.36mm。\n- GCN-MeshReg用3D体素特征提取器生成2187维特征并复制到每个网格顶点，再利用行归一化邻接矩阵进行图卷积，迭代 refinement 可进一步生成平滑且准确的网格。\n- NRGA++用MANO手模型的预定义分段替代NRGA的自动区域划分，不需要形状标注或训练数据，但精度低于GCN-MeshReg且运行时间更长。\n- 三维训练增强同时作用于体素深度图和关节热图，包括绕x、y、z轴的随机旋转、0.8至1.2倍缩放以及±8体素平移，用于提升姿态估计的精度和鲁棒性。\n- 实验覆盖450万训练和50万测试合成图像的SynHand5M、真实孤立手HANDS19 Task 1以及手物交互HO-3D，并补充BigHand2.2M/HANDS17姿态评估。\n- 在形状指标上，GCN-MeshReg在SynHand5M上达到1.72mm顶点误差，在HANDS19上达到3.57mm并带来27.1%的配准后误差降低，明显优于DispVoxNet和无配准结果。\n- 方法适用于AR/VR、手势识别和人机交互等深度传感器场景，但在手部被物体严重遮挡、形状标注不可用或需要极低延迟TSDF预处理的实际条件下仍存在约束。"
}