{
  "paper_id": "3b744733a3a64033c4507688e3c501c6",
  "paper_title": "Two Heads Are Better than One: Image-Point Cloud Network for Depth-Based 3D Hand Pose Estimation",
  "paper_authors": [
    "Pengfei Ren",
    "Yuchen Chen",
    "Jiachang Hao",
    "Haifeng Sun",
    "Qi Qi",
    "Jingyu Wang",
    "Jianxin Liao"
  ],
  "publication_date": "",
  "publication_venue": "Proceedings of the AAAI Conference on Artificial Intelligence",
  "abstract": "深度图像和点云是基于深度的三维手部姿态估计中最常用的两种数据表示。基于图像的方法借助图像的结构化特性和二维CNN的固有归纳偏置，高效且有效，但将深度数据视为二维图像不可避免地忽略了其三维本质。基于点云的方法能更好地挖掘深度数据的三维几何结构，却受点云无序和非结构化问题影响，计算效率较低。本文提出图像-点云网络IPNet，用于准确、鲁棒的三维手部姿态估计。IPNet利用二维CNN在二维图像空间提取视觉表示，并在三维点云空间进行迭代校正以利用深度数据的三维几何信息。本文特别提出基于稀疏锚点的“聚合-交互-传播”范式来增强点云特征并细化手部姿态，从而减少不规则数据访问；同时在迭代校正过程中引入三维手模型，显著提升IPNet对遮挡和深度洞的鲁棒性。实验表明，IPNet在三个具有挑战性的手部数据集上优于现有最优方法。\n",
  "keywords": [
    "三维手部姿态估计",
    "深度图像",
    "三维点云",
    "二维CNN",
    "图卷积网络",
    "迭代校正",
    "稀疏锚点",
    "三维手模型",
    "遮挡鲁棒性"
  ],
  "paper_institutions": [
    "State Key Laboratory of Networking and Switching Technology, Beijing University of Posts and Telecommunications"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:33:01.350411Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对基于深度的三维手部姿态估计中二维图像方法计算高效却忽略深度数据三维本质、点云方法能够表达几何结构却因无序、非结构化以及密集动态邻域构建而计算昂贵的问题，本文在AWR等像素级回归、P2P等点级回归和SRN等二维空间迭代修正研究的基础上，提出融合深度图像与点云的IPNet。该网络首先用编码-解码式全卷积网络从深度图像中预测像素级三维热图、方向向量场和权重图并得到初始姿态，再通过二维-三维投影将点坐标、投影视觉特征和姿态重参数化特征经通道去差异化融合为初始点云特征；其核心机制是以手部关节为稀疏锚点，在点云空间执行 F_i^anchor = MAX(Φ_cd(F_{i,j}, P_{i,j}) | j=1,...,K)，即由球查询获取邻域、MLP变换并最大池化聚合局部几何，再用SemGCN沿手部骨骼进行锚点间长程交互，最后将锚点信息反距离传播回点并回归细化姿态。为覆盖单手、手物交互、噪声、未见视角和未见物体等情况，实验选用NYU、HO-3D_v2/v3和DexYCB：NYU包含72,757张训练图像和8,252张测试图像并选用14个关节，HO-3D提供精确手物交互标注且需在线评估，DexYCB包含582,000帧、10名受试者、20个YCB物体、8个视角和S0–S3四种划分，可验证序列、受试者、视角和物体层面的泛化能力。实现上采用RTX 3090、PyTorch和AdamW，初始学习率0.001，输入深度块裁剪为128×128，采样1024个点并归一化到[-1,1]，使用旋转、缩放和平移增强；NYU与HO-3D训练30个epoch、DexYCB训练15个epoch。以MPJPE和成功帧比例/PCK为指标，IPNet在NYU上达到7.17 mm并在几乎所有阈值下取得最佳PCK，在HO-3D_v2和HO-3D_v3上分别达到1.81 cm和1.93 cm，在DexYCB上平均MPJPE为8.36 mm；消融显示局部聚合、GCN长程交互、三阶段校正和三维手模型均带来增益，三阶段模型约30.9 FPS。这些结果支持了图像-点云互补、稀疏锚点高效几何建模以及手模型先验增强遮挡鲁棒性三项创新。该方法适用于人机交互、虚拟现实、增强现实和手物抓取理解等场景，但依赖深度相机与相机内参，并受严重自遮挡、物体遮挡、深度洞、未见物体和实时算力约束；后续可在边缘端实时预算下进一步优化网格顶点与点云的融合效率，并提升极端遮挡和开放物体场景的泛化能力。\n\n### 关键要点\n\n- IPNet采用两阶段设计：先由二维全卷积编码-解码网络提取视觉特征并估计初始手部姿态，再在三维点云空间迭代细化姿态。\n- 二维分支预测像素级三维热图、三维单位方向向量场和权重图，并通过加权平均获得初始三维关节坐标。\n- 二维-三维投影默认选取4个最近视觉特征元素进行反距离插值，并将其与点坐标、姿态热图和方向信息经独立批归一化后融合。\n- 迭代校正以估计出的手部关节作为稀疏锚点，默认用球查询获取64个邻域点，并在0.1、0.2和0.4三个尺度上聚合局部几何特征。\n- SemGCN依据手部骨骼结构在锚点之间传递信息，以较低计算量建模不同手部区域之间的长程依赖。\n- 锚点特征通过最近4个锚点的反距离加权插值传播回原始点云，再由点级MLP回归热图、方向场和权重场以得到修正姿态。\n- 网络通过PoolGCN回归MANO手模型参数，并将网格顶点重参数化为热图和方向向量，为遮挡或深度洞区域提供结构先验。\n- 实验使用NYU、HO-3D_v2/v3和DexYCB，分别验证单手姿态、精确手物交互以及跨序列、受试者、视角和物体的泛化能力。\n- IPNet在NYU上取得7.17 mm MPJPE，在HO-3D_v2和v3上分别取得1.81 cm和1.93 cm，在DexYCB上平均MPJPE为8.36 mm。\n- 消融实验表明局部特征聚合、长程图交互、多阶段校正和手模型均能提升精度，三阶段IPNet运行速度约为30.9 FPS。"
}