{
  "paper_id": "4a4db6afe1c5f14b217a0e38707424b6",
  "paper_title": "Generalized Feedback Loop for Joint Hand-Object Pose Estimation",
  "paper_authors": [
    "Markus Oberweger",
    "Paul Wohlhart",
    "Vincent Lepetit"
  ],
  "publication_date": "",
  "publication_venue": "IEEE Transactions on Pattern Analysis and Machine Intelligence",
  "abstract": "We propose an approach to estimating the 3D pose of a hand, possibly handling an object, given a depth image. We show that we can correct the mistakes made by a Convolutional Neural Network trained to predict an estimate of the 3D pose by using a feedback loop. The components of this feedback loop are also Deep Networks, optimized using training data. This approach can be generalized to a hand interacting with an object. Therefore, we jointly estimate the 3D pose of the hand and the 3D pose of the object. Our approach performs en-par with state-of-the-art methods for 3D hand pose estimation, and outperforms state-of-the-art methods for joint hand-object pose estimation when using depth images only. Also, our approach is efficient as our implementation runs in real-time on a single GPU.\n",
  "keywords": [
    "3D hand pose estimation",
    "3D object pose estimation",
    "feedback loop",
    "hand-object manipulation"
  ],
  "paper_institutions": [
    "Institute for Computer Graphics and Vision, Graz University of Technology",
    "X, the moonshot factory",
    "LaBRI, University of Bordeaux",
    "Institut Universitaire de France"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:37:34.594205Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文解决从单张深度图估计手部三维姿态、并进一步联合估计手物交互姿态的问题，面向人机交互、增强现实和机器人操作等实际场景。现有判别式CNN速度快但初始预测会出错，生成式方法通常依赖精确手部CAD模型、手工相似度函数和复杂优化，且容易受局部极小值、传感器噪声、自遮挡与物体遮挡影响。论文提出由定位网络、预测网络、合成网络和更新网络组成的可学习反馈回路，核心机制为 \\(\\hat{\\mathbf p}^{(i+1)}\\leftarrow\\hat{\\mathbf p}^{(i)}+\\mathrm{updater}(\\mathcal D_{\\mathrm{input}},\\mathrm{synth}(\\hat{\\mathbf p}^{(i)}))\\)：预测网络给出初始姿态，合成网络根据姿态生成深度图，更新网络比较观测图与合成图并输出相对姿态修正，经多次迭代逼近真值。该方法不需要手工三维手部模型或相似度优化；在手物场景中，手和物体先分别定位并预测初始姿态，再通过空间变换网络裁剪、逆空间变换网络将合成结果贴回原坐标系，按像素深度取最小值融合后由手、物两个更新网络联合修正。实验选用NYU Hand Pose Dataset验证纯手部姿态：它包含72k余训练帧和8k测试帧、标注精确且姿态变化大，研究按协议使用36个关节中的14个，仅输入深度图；联合任务选用DexterHO数据集，其含2k余帧、大小两个长方体以及指尖和物体角点标注，适合检验相互遮挡下的6DoF联合估计。训练采用ADAM、批大小64、初始学习率0.001并衰减、训练100个epoch，配合随机缩放、裁剪和旋转增强；深度图被归一化为128×128，更新训练取\\(\\lambda=0.6\\)，推理时迭代两次。NYU上平均三维关节误差由初始预测的12.2mm降至10.8mm，与先进方法相当；直接最小化输入与合成图像平方误差的L-BFGS-B优化仅达32.3mm，粒子群优化结果也类似，证明学习式更新比图像相似度优化更可靠。DexterHO上反馈方法的综合平均误差为17.6mm，优于仅深度跟踪基线的18.5mm和19.3mm的初始结果，物体角点平均误差为12.4mm，反馈在所有序列上平均提升约10%；单网络同时预测手物姿态的误差为36.6mm，说明分离网络更有效。该方法在单块GTX 980 Ti上超过40fps，逐帧独立处理因而无需前一帧初始化、不会跟踪漂移；但当初始化误差过大时可能无法恢复，物体定位网络具有明显物体特异性，手部精度仍受训练数据和合成域差异限制。未来可扩展到RGB图像、增加形状参数以泛化到不同手形或物体类别、结合手部CAD模型，并减少更新训练中人工超参数。\n\n### 关键要点\n\n- 方法包含定位、预测、合成和更新四类深度网络，通过比较真实深度图与当前姿态合成图，迭代输出姿态修正量。\n- 更新网络不要求一步到位，而是用\\(\\lambda=0.6\\)的收缩约束保证每次更新更接近真值，并采用基于间隔的损失函数训练。\n- 训练更新网络时会加入真值、预测器输出、高斯扰动、当前更新结果和常见误差分布样本，从而扩大收敛域并覆盖预测器可能产生的偏差。\n- 合成网络直接从带标注的深度图和姿态数据学习生成手部深度图，在NYU测试集上的中位像素误差为0.1mm，避免了构建解剖学精确手部CAD模型。\n- 联合手物估计使用手、物两套网络，通过STN完成可微裁剪，通过ISTN贴回合成结果，并将手、物合成深度按像素最小值融合。\n- 联合训练数据包括真实手部深度图与OpenGL渲染物体融合的半合成数据，以及由标记动作捕捉姿态渲染的73k帧全合成数据，因此无需大量真实手物交互标注。\n- NYU数据集使用Primesense结构光深度图，训练集约72k帧、测试集约8k帧，评估14个关节的平均三维欧氏误差，并包含轮廓噪声和缺失深度等真实传感器问题。\n- 在NYU上，反馈回路将误差从12.2mm降至10.8mm；相反，直接优化图像平方误差会因噪声和局部极小值得到32.3mm的更差结果。\n- DexterHO数据集仅使用深度信息，评估可见指尖与三个物体角点；论文修正了其中错误标注，并预测完整手部关节和物体6DoF姿态。\n- 在DexterHO上，反馈方法综合误差为17.6mm，优于仅深度基线的18.5mm，物体角点误差为12.4mm；两次迭代后收益趋于稳定。\n- 分离的手、物网络显著优于单一联合输出网络，后者综合误差为36.6mm；实验还显示物体定位网络需要针对特定物体训练。\n- 系统在单GPU上超过40fps且逐帧独立、不会跟踪漂移，但初始误差过大时会失败，手部精度也受限于有限训练数据和合成数据的域差异。",
  "available_templates": [
    "deep_read",
    "simple"
  ]
}