{
  "paper_id": "6f5b2399ece9bfdafa6e93c62f82c168",
  "paper_title": "VPHO: Joint Visual-Physical Cue Learning and Aggregation for Hand-Object Pose Estimation",
  "paper_authors": [
    "Jun Zhou",
    "Chi Xu",
    "Kaifeng Tang",
    "Yuting Ge",
    "Tingrui Guo",
    "Li Cheng"
  ],
  "publication_date": "",
  "publication_venue": "Proceedings of the AAAI Conference on Artificial Intelligence",
  "abstract": "从单张RGB图像估计手与物体的三维姿态是一项基础且具有挑战性的问题，在增强现实和人机交互中具有广泛应用。现有方法大多仅依赖视觉线索，往往产生相互穿透或未接触等违反物理约束的结果。近期引入物理推理的努力通常依赖后优化或不可微物理引擎，损害视觉一致性和端到端可训练性。为此，本文提出一个联合整合视觉与物理线索的新颖框架：一方面联合训练模型提取2D视觉线索和3D物理线索，以学习更全面的手物交互表示；另一方面提出候选姿态聚合，利用视觉和物理预测聚合多个扩散生成的候选姿态，得到视觉一致且物理合理的最终估计。大量实验表明，该方法在姿态精度和物理合理性两方面均显著优于现有最先进方法。\n",
  "keywords": [
    "手物姿态估计",
    "视觉-物理线索学习",
    "力预测",
    "摩擦锥",
    "候选姿态聚合",
    "扩散模型",
    "物理合理性",
    "静态平衡"
  ],
  "paper_institutions": [
    "School of Automation, China University of Geosciences, Wuhan 430074, China",
    "Hubei Key Laboratory of Advanced Control and Intelligent Automation for Complex Systems, Wuhan 430074, China",
    "Engineering Research Center of Intelligent Technology for Geo-Exploration, Ministry of Education, Wuhan 430074, China",
    "Department of Electrical and Computer Engineering, University of Alberta, Edmonton, AB T6G 2R3, Canada"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:42:05.162111Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n从单张RGB图像估计手与物体三维姿态是增强现实、人机交互和机器人等场景中的基础问题，但仅依赖视觉线索的方法常出现穿模或未接触等违反物理约束的结果，而后优化或不可微物理引擎又依赖初始值、损害视觉一致性与端到端可训练性。本文提出VPHO框架，通过特征提取、力预测、候选生成和姿态聚合四个模块联合学习2D视觉线索与3D物理线索；其核心力机制在手部表面32个锚点处依据库仑摩擦锥学习局部力 $F'_k=s_k\\sum_j w_{k,j}v_j$，再用MANO线性混合蒙皮将局部力旋转到全局坐标，并以力平衡、力矩平衡和接触—力关系进行半监督训练，无需真实力标注。基于分数扩散模型生成多组MANO手与刚体6D姿态候选后，视觉聚合先沿运动链四级逐级加权手部关节、再按平移后旋转聚合物体，物理聚合分别用 $-\\mathcal L_{force}\\mathcal L_{contact}$ 和 $-\\mathcal L_{torque}\\mathcal L_{contact}$ 重排手部与物体候选。实验在DexYCB官方S0训练集和HO3Dv2标准训练集上进行，DexYCB Full与HO3Dv2 Full测试姿态精度，DexYCB Phy与HO3Dv2 Phy测试稳定握持的物理合理性；该设置给定相机内参和物体CAD模型，并可选在DexYCB预训练5个epoch，用于验证视觉一致性与物理合理性可同时保持。精度指标包括手部MJE、PA-MJE和物体MCE、OCE、SMCE、ADD-S，物理指标包括CP、PD、SD；在DexYCB Full上取得MJE 10.0mm、PA-MJE 5.08mm、MCE 26.2mm、OCE 23.7mm、ADD-S 13.5mm，相比次优方法MCE、OCE、ADD-S分别降低26.8%、14.1%、27.4%，在HO3Dv2 Full上取得PA-MJE 8.5mm、MJE 19.9mm、OCE 27.1mm、ADD-S 14.3mm，并在DexYCB Phy取得CP 98.85%、PD 13.4mm、SD 17.3mm，在HO3Dv2 Phy取得SMCE 3.12cm、CP 98.80%、PD 0.96cm、SD 2.21cm，支撑联合线索学习与两阶段聚合的有效性。由于单图无法获得加速度，方法采用静态平衡假设并在推理时以相机y轴近似重力，适用范围受静态握持、已知物体模型和内参等条件限制；未来可引入时序信息建模动态平衡，并用物理线索改进物体重建。\n\n### 关键要点\n\n- VPHO由特征提取、力预测、候选生成和姿态聚合四个模块组成，同时利用2D热图等视觉线索和接触力等3D物理线索。\n- 特征提取采用增强ResNet50和反卷积层生成手部关节热图与物体关键点热图，并用均方误差损失监督热图预测。\n- 力预测模块在手部表面设置32个稀疏锚点，依据库仑摩擦锥基向量和可学习缩放、权重系数生成局部接触力。\n- 局部力通过MANO线性混合蒙皮及锚点局部坐标系到全局坐标系的旋转矩阵转换为全局力。\n- 物理网络以手部特征、物体特征和重力向量为输入，输出力权重、缩放系数和物体质心位置，并使用伪力标签与物理约束半监督训练。\n- 静态平衡约束包括合力为零、合力矩为零，以及力大小应随锚点与物体表面距离增大而受到惩罚的接触—力关系。\n- 候选姿态由基于分数的扩散模型生成，视觉聚合沿手部运动链从低级到高级逐级加权，并对物体先聚合平移再聚合旋转。\n- 物理聚合对最高层手部关节按力平衡与接触约束乘积重排，对物体平移和旋转组合按力矩平衡与接触约束乘积重排，再平均最优候选。\n- DexYCB使用官方S0训练集，Full测试集包含接近和接触场景，Phy测试集聚焦手稳定握持物体；HO3Dv2使用标准训练集及Full、Phy测试集。\n- 在DexYCB Full上，VPHO取得手部MJE 10.0mm、PA-MJE 5.08mm，以及物体MCE 26.2mm、OCE 23.7mm、ADD-S 13.5mm。\n- 在HO3Dv2 Full上，VPHO取得PA-MJE 8.5mm、MJE 19.9mm、OCE 27.1mm和ADD-S 14.3mm，物体指标表现最优。\n- 消融实验显示力预测、视觉聚合和物理聚合依次带来性能收益，完整模型在精度、接触率、穿透深度和仿真位移上整体最佳。"
}