{
  "paper_id": "7994520da2658d7704bba92d2df96d1d",
  "paper_title": "ShapeGraFormer: GraFormer-Based Network for Hand-Object Reconstruction From a Single Depth Map",
  "paper_authors": [
    "Ahmed Tawfik Aboukhadra",
    "Jameel Malik",
    "Nadia Robertini",
    "Ahmed Elhayek",
    "Didier Stricker"
  ],
  "publication_date": "",
  "publication_venue": "IEEE Access",
  "abstract": "手-物体操作的三维重建对模拟人类行为非常重要。大多数处理具有挑战性的物体操作场景的方法专注于孤立的手部重建，忽略了物体接触带来的物理和运动学约束。一些方法通过联合重建3D手-物体交互产生更真实的结果，但它们专注于粗略的姿态估计或依赖已知的手和物体形状。我们提出了一种从单张深度图进行真实3D手-物体形状和姿态重建的方法。与以往工作不同，我们基于体素的重建网络回归手和物体的顶点坐标，并重建更真实的交互。我们的流程还预测体素化的手-物体形状，与输入的体素化深度一一对应。此后，我们利用手和物体形状的图结构特性，使用带有位置嵌入的最新GraFormer网络从模板网格重建形状。此外，我们展示了添加另一个基于手-物体交互来精炼重建形状的GraFormer组件的影响，及其重建更准确物体形状的能力。基于这些贡献，我们将系统命名为ShapeGraFormer。我们在HO-3D和DexYCB数据集上进行了广泛评估，结果表明我们的方法在手部重建方面优于现有方法，并对物体产生了合理的重建。",
  "keywords": [
    "计算机视觉",
    "深度学习",
    "图卷积网络",
    "手-物体3D重建",
    "姿态估计",
    "Transformers"
  ],
  "paper_institutions": [
    "Augmented Vision Group, German Research Center for Artificial Intelligence (DFKI), Kaiserslautern, Germany",
    "Department of Computer Science, University of Kaiserslautern-Landau (RPTU), Kaiserslautern, Germany",
    "School of Electrical Engineering and Computer Science (SEECS), National University of Sciences and Technology (NUST), Islamabad, Pakistan",
    "Artificial Intelligence Department, College of Computer and Cyber Sciences, University of Prince Mugrin (UPM), Madinah, Saudi Arabia"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:26:33.875434Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n从单张深度图重建手-物体交互的三维形状与姿态对模拟人类行为至关重要，可应用于机器人、虚拟现实和增强现实等现实场景。现有方法大多孤立地重建手部而忽略物体接触带来的物理与运动学约束，联合重建的方法则往往只关注粗略姿态估计或依赖已知的手与物体形状。本文提出ShapeGraFormer，一种基于体素的重建网络，通过直接回归手和物体的网格顶点坐标（而非模型参数）实现更真实的交互重建，可泛化到不同手部模型和未知物体形状，并在纯3D域中工作以避免RGB方法的透视畸变和尺度歧义。该流程包含三个组件：PoseNet从88×88×88体素化深度图预测手关节（21个）和物体包围盒角（8个）的3D热图；VoxelNet生成体素化的手-物体形状；ShapeGraFormer利用图卷积层与多头注意力层（GraFormer）结合基于模板网格的位置嵌入，从MANO手部模板和球体物体模板回归拓扑一致的网格顶点，并附加精炼GraFormer基于手-物体交互改进物体重建。物体采用4次细分单位正二十面体得到的2562顶点球体作为统一拓扑表示，通过最小化加权目标函数 E = w_C·E^C + w_L·E^L + w_N·E^N + w_E·E^E（倒角距离、拉普拉斯平滑、法线一致性、边长一致性）进行配准。方法在HO-3D（v2/v3）和DexYCB数据集上训练与评估（Adam优化器，学习率0.001，PyTorch实现，NVIDIA A100 GPU），这些数据集提供了完整的手-物体姿态与形状标注，能够验证方法在已见/未见物体与手部组合等挑战场景下的泛化能力。采用平均3D关节误差（J err.）和平均3D顶点误差（V err.）作为指标，手部重建相对现有最优方法最小提升0.27 cm（姿态）和0.43 cm（形状），在DexYCB上提升0.53 cm，物体重建产生合理结果，验证了直接顶点回归、GCN与Transformer结合以及精炼组件的有效性。消融研究表明移除GCN会使误差剧增至19.32 cm，凸显图结构建模的关键作用。未来工作计划解决标注不准确问题并研究RGB+D方法以利用RGB帧中的额外特征。\n\n### 关键要点\n\n- 提出ShapeGraFormer，从单张深度图联合重建物理有效的手-物体形状与姿态，直接回归网格顶点而非模型参数，可泛化到不同手部模型和未知物体形状。\n- 流程包含三个组件：PoseNet预测手关节和物体包围盒角的3D热图，VoxelNet预测体素化手-物体形状，ShapeGraFormer回归拓扑一致的网格顶点，单次前向传播完成重建。\n- 物体建模通过4次细分单位正二十面体得到2562顶点、5120面的球体，将所有已知物体几何配准到统一拓扑表示，使用SGD最小化倒角距离与形状正则化项之和。\n- 位置嵌入层将手（MANO默认模板）和物体（球体模板）的模板网格顶点转换为位置向量，与共享特征向量结合，为图中每个顶点生成唯一表示。\n- 精炼GraFormer利用手-物体交互信息改进物体重建，在所有物体上降低重建误差，无需昂贵的物理仿真或显式穿透/接触损失。\n- 在HO-3D（v3）上训练集含71,662张图像、验证集10,927张、评估集20,137帧（13个序列，涵盖已见/未见物体与手部的组合）；DexYCB含582k帧、10名受试者、20个物体、8个视角，采用S1评估设置。\n- 实现细节：使用Adam优化器（学习率0.001），先单独训练PoseNet再固定其权重训练其余组件，全部在PyTorch中实现并于NVIDIA A100 GPU上运行。\n- 手部重建结果：HO-3D（v3）上hand-only带精炼达到J err 2.00 cm、V err 1.94 cm，相对现有最优方法最小姿态提升0.27 cm、形状提升0.43 cm；联合手-物体训练也优于其他对比方法。\n- DexYCB结果：根相对手部姿态估计J err为1.74 cm、V err为2.65 cm，相比基准方法（A2J为2.55 cm、Spurr等为2.27 cm）提升0.53 cm。\n- 物体重建：拓扑一致性是ShapeGraFormer预测平滑顶点云的关键因素；球体近似隐式修复目标物体形状的不规则性，但代价是尖锐边缘和微小表面细节被过度平滑。\n- 消融研究：结合体素深度V_D、VoxelNet特征F_V和体素化形状V^H作为输入效果最佳；移除GCN导致J err剧增至19.32 cm，验证了GCN与Transformer结合的关键性。\n- 接触损失（吸引与排斥项）实验显示未带来显著性能提升，表明独立的精炼GraFormer已隐式学习到有效的手-物体交互；局限包括物体边缘过度平滑和标注不准确，未来将研究RGB+D方法。"
}