{
  "paper_id": "4044caf59a50c6de2416303882de437a",
  "paper_title": "From 2D Alignment to 3D Plausibility: Unifying Heterogeneous 2D Priors and Penetration-Free Diffusion for Occlusion-Robust Two-Hand Reconstruction",
  "paper_authors": [
    "Gaoge Han",
    "Yongkang Cheng",
    "Zhe Chen",
    "Shaoli Huang",
    "Tongliang Liu"
  ],
  "publication_date": "",
  "publication_venue": "CVPR 2026",
  "abstract": "单目图像双手重建受复杂姿态和严重遮挡困扰，常导致交互错位与双手穿透。本文将问题解耦为2D结构对齐和3D空间交互对齐，并分别设计组件。2D对齐方面，首次将视觉基础模型产生的关键点、分割、深度等异构结构先验统一为双手恢复的互补结构化引导；提出融合对齐编码器，不显式提取先验预测，而是隐式吸收结构知识，在无需承担基础模型推理成本的情况下获得基础模型级引导。3D空间对齐方面，提出双手无穿透扩散模型，学习从相互穿透姿态到真实无碰撞配置的生成映射；去噪过程中的碰撞梯度引导模型收敛至有效双手交互流形，保持几何与运动学一致性。该生成式方法即使在遮挡或视觉输入模糊时仍能实现物理可信的重建。在InterHand2.6M和HIC上的大量实验表明，方法在交互对齐和穿透抑制方面达到先进或领先性能。\n",
  "keywords": [
    "双手三维重建",
    "单目图像",
    "遮挡鲁棒",
    "异构2D先验",
    "关键点",
    "分割",
    "深度",
    "融合对齐编码器",
    "无穿透扩散模型",
    "碰撞梯度",
    "MANO"
  ],
  "paper_institutions": [
    "AgiBot",
    "Mohamed bin Zayed University of Artificial Intelligence",
    "The University of Sydney",
    "La Trobe University"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:21:54.921825Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对单目图像中双手姿态复杂、相互遮挡严重而容易产生交互错位和双手穿透的问题，论文在3D手部恢复已受益于大规模手部数据集、注意力机制以及视觉基础模型2D关键点、分割、深度先验和扩散生成先验的背景下，将任务解耦为2D结构对齐与3D空间交互对齐。2D阶段首次统一来自Sapiens的关键点、分割和深度异构先验，提出训练时使用的轻量融合对齐编码器（FAE），以MSE蒸馏基础模型潜在特征，其核心融合关系为 Fp=Proj(Fk, Fs, Fd)；图像特征与Fp拼接后经Transformer编码并回归MANO参数，推理时移除全部基础模型编码器，从而以较低成本获得基础模型级结构引导。3D阶段提出双手无穿透扩散模型，把穿透姿态作为条件，学习从含噪或穿透状态到真实无碰撞配置的生成映射，并在DDIM反向去噪中用Chamfer距离与法向余弦混合准则识别碰撞顶点对，再以GMoF碰撞损失的负梯度逐步调整姿态，使结果收敛到有效双手交互流形。实现上采用ResNet-50主干、RT-MDet检测器、AdamW优化器、4张A100、batch size 48和初始学习率1e-4；重建训练使用InterHand2.6M、Re:InterHand、COCO WholeBody、FreiHand和HO-3D，扩散模型使用InterHand2.6M与Re:InterHand，这些数据覆盖交互手、单手、手物和野外外观，测试则用InterHand2.6M、FreiHAND和HIC以验证基准精度、泛化与真实场景稳定性。采用MPJPE、MPVPE、MRRPE及XY/Z分解误差和PenVol、PenDist、ProxRatio等指标；在InterHand2.6M上取得MRRPE 21.60mm、MPJPE 5.36mm、MPVPE 5.58mm，在HIC上取得22.24mm、6.67mm、6.93mm，PenVol由InterHandGen的0.76降至0.11、PenDist由0.04降至0.01且ProxRatio达0.99，消融显示关键点和分割主要改善XY平面定位、深度改善Z向与相对平移、扩散进一步全面降低穿透和对齐误差，完整模型为74.2M参数、18 FPS，而推理时保留基础模型约为52.6M+1B参数、3 FPS，FAE无扩散版本为56 FPS。该方法适用于3D角色动画、AR/VR和机器人等场景，但在极端运动模糊导致2D先验失效时仍受限，未来可结合时序处理提升模糊与遮挡条件下的稳定性。\n\n### 关键要点\n\n- 论文首次将视觉基础模型提供的2D关键点、分割和深度三类异构结构先验统一用于双手重建，以互补信息支撑2D结构对齐。\n- 融合对齐编码器仅在训练阶段通过MSE蒸馏基础模型的潜在特征，推理时移除基础模型编码器，从而降低部署成本。\n- 关键点提供关节和指尖位置，分割在双手交错时仍可提供手部轮廓，深度则增强相对空间关系和Z向推理能力。\n- 重建网络将图像特征与融合先验特征拼接后交给Transformer编码，再由手部回归器预测MANO参数，训练损失由手部恢复损失和先验MSE损失组成。\n- 双手扩散模型采用Transformer和MDM式扩散过程，以穿透双手为条件预测干净双手，训练使用1000个加噪步和余弦噪声调度。\n- 扩散训练中的穿透样本来自两种方式：低性能双手估计模型产生的穿透结果，以及对真实MANO参数施加噪声直至出现穿透。\n- 在调用扩散模型前，系统执行IoU和穿透检查，以跳过大多数不必要的扩散推理。\n- 碰撞引导在每个DDIM去噪步结合Chamfer距离阈值和法向余弦阈值筛选碰撞对，并通过GMoF碰撞损失的负梯度调整姿态。\n- 在InterHand2.6M 5fps测试集上，该方法取得MRRPE 21.60mm、MPJPE 5.36mm和MPVPE 5.58mm，显著优于4DHands等现有方法。\n- HIC不包含在训练集中，方法仍在该野外数据集上取得MRRPE 22.24mm、MPJPE 6.67mm和MPVPE 6.93mm，体现跨场景泛化能力。\n- 穿透指标方面，方法将PenVol从InterHandGen的0.76降至0.11，将PenDist从0.04降至0.01，并保持0.99的ProxRatio。\n- 方法在极端运动模糊条件下仍可能因2D先验不可靠而受限，作者指出未来可引入时序处理来缓解这一问题。",
  "available_templates": [
    "deep_read",
    "simple"
  ]
}