{
  "paper_id": "d24ccd777d523c5ab7e83af1f6bcb290",
  "paper_title": "ACR: Attention Collaboration-based Regressor for Arbitrary Two-Hand Reconstruction",
  "paper_authors": [
    "Zhengdi Yu",
    "Shaoli Huang",
    "Chen Fang",
    "Toby P. Breckon",
    "Jue Wang"
  ],
  "publication_date": "",
  "publication_venue": "2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)",
  "abstract": "从单目RGB图像重建双手因频繁遮挡和相互混淆而具有挑战性。现有方法主要学习纠缠表征来编码两只交互手，这种表征在交互不完整时非常脆弱，例如手部截断、双手分离或外部遮挡。本文提出ACR，首次尝试在任意场景中重建手部。ACR利用中心注意力和部件注意力进行特征提取，显式降低手与手之间以及部件与部件之间的相互依赖；同时，为避免降低相互依赖后削弱交互手的相互推理能力，ACR还基于中心注意力学习跨手先验，以更好地处理交互双手。在多种手部重建数据集上的评估表明，该方法在InterHand2.6M上显著优于最优交互手方法，并在FreiHand上取得与最先进单手方法相当的性能。野外图像、手物交互数据以及网络图片和视频上的定性结果进一步证明了其在任意手部重建中的有效性。\n",
  "keywords": [
    "单目RGB",
    "三维手部重建",
    "双手交互",
    "注意力协作",
    "表征解耦",
    "跨手先验",
    "交互场",
    "MANO"
  ],
  "paper_institutions": [
    "Tencent AI Lab",
    "Durham University"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:39:39.674684Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文解决单目RGB图像中任意场景双手三维重建问题。现有单手方法难以处理互遮挡与左右手混淆，而交互双手方法通常将双手视为整体并学习纠缠表征，虽然能捕捉相关性，却强制输入包含两只近距离交互手，在手部截断、双手分离或外部遮挡时容易失效。为此作者提出ACR，通过注意力编码器生成参数图、手中心图、部件分割图和跨手先验图，再由注意力协作特征聚合器分别构建全局与部件特征：手中心注意力降低手间依赖，部件注意力降低手内部件依赖，跨手先验则通过反向注意力查询恢复交互推理。其核心机制可写为 F_out^h=f_out(concat(F_g^h,F_p^h,λF_c^{ĥ→h}))，其中交互场根据双手中心距离d计算λ，距离越远依赖越弱，d>IF时λ=0，从而兼顾解耦鲁棒性与近距离交互相关性。实验选用InterHand2.6M，因为它是少有的具有精确双手网格标注的大规模真实数据集，可验证交互手与单手情形；选用FreiHand验证单手泛化能力，并以野外图像、手物交互数据和网络图片/视频检验真实适用性。实现上采用PyTorch与HRNet-W32或ResNet-50，直接输入保持长宽比并填充至512×512的完整RGB图像，无需手部检测器或裁剪，使用Adam、2块V100、批量64及数据增强端到端训练。评价采用根对齐后的MPJPE、PA-MPJPE及MPVPE/PA-MPVPE；在InterHand2.6M上，ACR在使用尺度时取得全测试集7.41 MPJPE、IH 8.41 MPJPE和SH 6.09 MPJPE，显著优于IntagHand等交互手方法，在FreiHand上取得6.9 PA-MPJPE和7.0 PA-MPVPE，与最先进单手方法相当，消融实验也证明全局、部件和跨手先验组合最优。该方法适用于AR/VR、人机交互、影视与游戏角色动画等场景，但受单目深度歧义和训练标注限制，且目前缺少显式碰撞处理，未来可利用相对信息、透视相机模型和更准确深度推理减少网格互穿。\n\n### 关键要点\n\n- ACR首次面向任意场景的双手重建，可处理单手、双手交互、双手分离、手部截断和外部遮挡等输入。\n- 模型由注意力编码器和注意力协作特征聚合器组成，从完整图像生成跨手先验图、参数图、手中心图和部件分割图。\n- 参数图为每只手提供109维预测，包括MANO姿态、形状参数以及弱透视相机的尺度和平移参数。\n- 手中心图以二维高斯热图表示左右手中心，并在双手过近时采用碰撞感知的中心排斥策略降低特征混淆。\n- 部件分割图包含背景和每只手16个手部部件类别，经softmax后作为软注意力掩码聚合局部部件特征。\n- 跨手先验通过反向查询实现，例如用右手中心注意力从左手先验特征中查询有助于右手重建的交互信息。\n- 交互场依据双手中心距离自适应计算交互强度λ，双手远离或仅有单手时抑制不必要的跨手依赖。\n- ACR无需外部手部检测器或预先裁剪手部区域，原始图像保持长宽比并填充至512×512后可直接端到端推理。\n- 在InterHand2.6M官方测试集上，使用尺度的ACR取得7.41 MPJPE、8.41 IH MPJPE和6.09 SH MPJPE，优于IntagHand。\n- 在FreiHand单手基准上，ACR取得6.9 PA-MPJPE和7.0 PA-MPVPE，与Transformer类最先进单手方法性能相当。\n- 消融实验显示，在无边界框或真值尺度等额外信息时，全局、部件和跨手先验组合将整体MPJPE降至8.09。\n- 方法的主要局限是缺少显式网格碰撞约束，偶尔会出现双手互穿，后续需结合相对信息或更准确的透视深度推理改进。"
}