{
  "paper_id": "5fc5487a520361ddeed2402612f68537",
  "paper_title": "GenHOI: Generalized Hand-Object Pose Estimation with Occlusion Awareness",
  "paper_authors": [
    "Hui Yang",
    "Wei Sun",
    "Jian Liu",
    "Jian Xiao",
    "Tao Xie",
    "Hossein Rahmani",
    "Ajmal Mian",
    "Nicu Sebe",
    "Gim Hee Lee"
  ],
  "publication_date": "",
  "publication_venue": "ECCV 2026 (Lecture Notes in Computer Science)",
  "abstract": "从单张RGB图像进行广义三维手物姿态估计仍然具有挑战性，主要原因是物体外观、交互模式变化大，并且常存在严重遮挡。本文提出GenHOI，一个具有遮挡感知能力的广义手物姿态估计框架。GenHOI将层级语义知识与手部先验相结合，以增强模型在困难遮挡条件下的泛化能力。具体而言，层级语义提示通过文本描述编码物体状态、手部构型和交互模式，使模型能够学习手物交互的抽象高层表示，从而泛化到未见物体和新交互，并补偿缺失或模糊的视觉线索。为实现鲁棒的遮挡推理，模型在RGB图像、预测点云和文本描述上采用多模态掩码建模策略；同时利用手部先验作为稳定空间参考来提取隐式交互约束，从而在物体形状和交互模式显著变化时仍能可靠推断姿态。在DexYCB和HO3Dv2基准上的大量实验表明，该方法在手物姿态估计任务上达到了先进性能。\n",
  "keywords": [
    "姿态估计",
    "手物交互"
  ],
  "paper_institutions": [
    "NERC-RVC, Hunan University",
    "National University of Singapore",
    "Lancaster University",
    "The University of Western Australia",
    "University of Trento"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:39:30.926522Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文研究单张RGB图像中的广义三维手物姿态估计问题，目标是在未见物体、新交互模式和严重手物遮挡条件下恢复手部与物体姿态；现有直接回归方法过度依赖外观线索，关键点方法又容易因关键点检测失败而受遮挡影响，已有文本语义方法多提供全局或粗类别信息，缺乏细粒度空间推理。为此，作者提出GenHOI框架，通过InstructBLIP依据层级模板生成文本描述，核心关系可表示为T = G(I, T_template)，其中模板包含物体级、手部级和交互级语义，分别描述物体属性、手指与旋转状态、抓握动作及接触关系；模型再对RGB图像、手部与物体点云、文本标记进行模态特定掩码和重建，按文本到图像再到点云的交叉注意顺序融合特征，并利用SDF、MANO关节旋转和21个三维关节等手部先验先估计手部姿态，再将手部运动描述符与物体特征拼接以回归物体旋转R_obj和平移T_obj。实验选用DexYCB和HO3Dv2两个标准手物交互基准：DexYCB的S0划分用于常规测试，S3划分保留3个未见物体，可检验遮挡下的跨物体泛化；HO3Dv2官方划分包含一个未见物体类别，用于评估跨类别泛化，所有结果还通过官方评估或标准指标进行比较。实现上采用PyTorch、单张NVIDIA RTX 4090、Adam优化器、批大小24、初始学习率1e-4且每5个周期乘以0.7，并在两个数据集上训练60个周期。评估指标包括ADD-0.5D的AUC、ADD-S、MJE、PA-MJE、V-PE、OME等；在DexYCB S3上，GenHOI取得89.34%的平均物体ADD-0.5D AUC，并将平均ADD-S从HOISDF的84.04 mm降至21.76 mm，手部精度保持在有竞争力水平，在HO3Dv2未见物体“019 pitcher base”上取得92.7%的ADD-0.5D，在已见物体上取得21.3 mm MJE、35.9 mm OME和13.4 mm ADD-S。这些结果支持层级语义提供泛化先验、多模态掩码学习遮挡推理、手部先验稳定物体位姿约束三项核心创新。该方法适用于增强现实、人机交互和机器人操作等真实场景，但在极端遮挡尤其是物体几乎被手完全遮蔽时仍可能失败；未来可引入时序线索、物理与运动约束、多视角和自我中心数据以进一步提升鲁棒性。\n\n### 关键要点\n\n- GenHOI是一个面向未见物体、新颖手物交互和严重遮挡场景的单图三维手物姿态估计框架。\n- 层级语义模板由物体级、手部级和交互级三部分组成，分别编码类别与外观、手指与旋转、抓握动词与接触细节。\n- InstructBLIP根据输入图像和层级模板生成具体文本描述，训练时还加入文本扰动以降低对完美描述的依赖。\n- 多模态掩码建模同时处理RGB图像、手部和物体点云以及文本：图像块被高斯噪声替换，点云局部块被置零，文本词元被[MASK]替换。\n- 掩码与重建只在训练阶段使用，推理阶段直接使用图像、动态采样点云和文本融合后的跨模态特征进行姿态估计。\n- 训练点云从真实手部和物体网格采样，推理点云则由图像特征引导的体素网格动态采样，无需真实网格。\n- 手部先验模块预测SDF并回归16个关节旋转和10个MANO形状系数，再用手部旋转和重建的21个关节约束物体旋转与平移。\n- DexYCB包含约58.2万张图像、20个YCB物体；S3划分用15个物体训练、3个物体测试，专门检验未见物体泛化。\n- HO3Dv2包含约7.7万张图像、10个YCB物体，官方测试集包含未见类别“019 pitcher base”，用于跨类别评估。\n- 在DexYCB S3上，GenHOI的平均ADD-0.5D AUC达到89.34%，平均ADD-S为21.76 mm，显著优于所比较方法。\n- 在HO3Dv2上，GenHOI在未见物体上达到92.7%的ADD-0.5D，并在已见物体上取得最低的MJE、OME和ADD-S误差。\n- 消融实验证明层级语义、三种掩码和手部先验均有贡献；系统在文本离线生成时可达18 FPS，但极端遮挡和物体完全被遮蔽仍是主要限制。"
}