{
  "paper_id": "5be8d0395162475db198236e1b08acd8",
  "paper_title": "UniHOPE: A Unified Approach for Hand-Only and Hand-Object Pose Estimation",
  "paper_authors": [
    "Yinqiao Wang",
    "Hao Xu",
    "Pheng-Ann Heng",
    "Chi-Wing Fu"
  ],
  "publication_date": "",
  "publication_venue": "2025 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)",
  "abstract": "从单目图像中估计手部以及潜在手持物体的三维姿态是一项长期挑战。现有方法通常是专用的：要么关注裸手姿态估计，要么关注手物交互姿态估计，尚无方法能够灵活处理这两种场景，且方法迁移到另一类场景时性能会下降。本文提出 UniHOPE，一种用于通用三维手物姿态估计的统一方法，可灵活适配裸手和手物场景。在技术上，作者设计了抓取感知特征融合模块，通过对象切换器根据抓取状态动态控制手物姿态估计并整合手物特征。此外，为增强无论物体是否存在时的手部姿态估计鲁棒性，作者生成逼真的去遮挡图像对，使模型学习由物体引起的手部遮挡，并通过多层级特征增强技术学习遮挡不变特征。在三个常用基准上的大量实验表明，UniHOPE 在裸手和手物场景中均取得了 SOTA 性能。代码将发布于 <https://github.com/JoyboyWang/UniHOPE_Pytorch>。\n",
  "keywords": [
    "单目三维手部姿态估计",
    "手物姿态估计",
    "UniHOPE",
    "对象切换器",
    "抓取感知特征融合",
    "生成式去遮挡",
    "遮挡不变特征",
    "多层级特征增强",
    "扩散模型",
    "MANO"
  ],
  "paper_institutions": [
    "香港中文大学计算机科学与工程学系",
    "香港中文大学医学智能与扩展现实研究所",
    "香港中文大学"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:37:37.912158Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对单目图像中裸手与手物交互两类场景长期被 HPE 与 HOPE 方法割裂处理、跨场景测试明显退化且混合训练又会损害原任务性能的问题，本文提出首个统一框架 UniHOPE：模型始终预测手部姿态，仅在检测到抓取物体时估计物体姿态，服务于 VR/AR、人机交互等实际场景。方法上，对象切换器用 MLP 从 FPN 物体特征预测抓取状态并以二分类交叉熵监督，抓取感知融合则依据状态 s 构造核心机制 F^H = Concat(F_r^h, sF_r^o + (1−s)F_r^h)，再经多头注意力生成 F^OH，从而在无物体时阻断无关物体特征向手部分支传递；对于物体造成的严重遮挡，框架利用基于 ControlNet 与潜在扩散的生成式去遮挡器，在手部深度图和手物掩码条件下保留背景并生成同姿态裸手图像，再通过初始层、RoI 层和 MANO 层的 L1 自蒸馏约束学习遮挡不变特征，且只对遮挡比例不低于 0.1 的抓取样本执行增强。实验选用 DexYCB S3、HO3D v2 与 FreiHAND：DexYCB 提供场景划分和未见过的抓取物体，HO3D 检验真实手物交互，FreiHAND 用于跨数据集裸手泛化；训练采用 8 块 RTX 2080Ti、batch size 64、Adam 优化器、初始学习率 1e-4、输入 128×128，并分 30 个epoch适应生成图像、40 个epoch加入特征约束两个阶段。评价指标包括 J/V-PE、PA-J/V-PE、J/V-AUC、F@5/F@15 和物体 ADD-0.5D；UniHOPE 在 DexYCB 全场景取得 J-PE 13.03、V-PE 12.59，裸手与手物场景 J-PE 分别为 12.59 和 13.31，未见物体 ADD-0.5D 平均为 43.06，在 HO3D 取得 J-PE 26.23、V-PE 25.41，在 FreiHAND 跨数据集测试取得根相对 J-PE 50.97，并在各遮挡等级均领先，对象切换器准确率超过 95%，共同支持场景自适应切换与遮挡鲁棒性两项创新。其推理速度约 44 FPS、参数量 46.38M，但 DexYCB 训练约需 3 天；未来可借助视觉基础模型先验和合成数据提升对未见物体的泛化，主要约束是物体形状或外观变化过大会降低姿态精度，且场景划分和修复掩码依赖物体标注。\n\n### 关键要点\n\n- UniHOPE 将裸手姿态估计与手物姿态估计统一到一个端到端模型中，始终输出手部姿态，仅在物体存在时输出物体姿态。\n- 抓取状态标签通过相邻帧物体姿态的 RRE 与 RTE 自动生成，场景划分阈值分别为 5° 和 10mm。\n- 对象切换器是基于 FPN 物体特征的轻量 MLP，使用二分类交叉熵训练，测试时若预测为非抓取则关闭物体姿态分支。\n- 抓取感知特征融合用抓取状态 s 门控物体特征，避免无物体场景中无关的物体到手部特征传递。\n- 生成式去遮挡器采用 ControlNet 和潜在扩散修复模型，以手部深度图与手物掩码为条件，在移除物体的同时保留背景一致性。\n- 自适应控制强度从 0.25、0.4、0.55、0.7、0.85、1.0 等候选值生成样本，并由预训练 MobRecon 选择 J-PE 最低的图像。\n- 多层级特征增强分别约束 FPN 初始特征、RoI 特征和 MANO 特征，MANO 层还使用注意力适配层促进后期特征知识迁移。\n- 遮挡感知过滤只对抓取且遮挡比例达到阈值 0.1 的样本施加成对特征约束，避免非遮挡样本引入无效域差距。\n- DexYCB S3 训练/测试样本为 376,374/76,360，测试集包含训练时未见的 3 类物体；HO3D 和 FreiHAND 分别用于手物交互评估与跨数据集泛化评估。\n- UniHOPE 在 DexYCB、HO3D、FreiHAND 以及 DexYCB 各遮挡等级上均取得领先的手部姿态精度，并在未见物体 ADD-0.5D 上达到 43.06% 的平均成绩。\n- 方法的主要限制是严重未见物体形变或外观变化会降低物体姿态性能，且缺少物体标注的数据集难以进行场景划分和去遮挡掩码生成。"
}