{
  "paper_id": "f0e2f8469610f132829ebdcd6c344edb",
  "paper_title": "Decoupled Iterative Refinement Framework for Interacting Hands Reconstruction from a Single RGB Image",
  "paper_authors": [
    "Pengfei Ren",
    "Chao Wen",
    "Xiaozheng Zheng",
    "Zhou Xue",
    "Haifeng Sun",
    "Qi Qi",
    "Jingyu Wang",
    "Jianxin Liao"
  ],
  "publication_date": "",
  "publication_venue": "2023 IEEE/CVF International Conference on Computer Vision (ICCV)",
  "abstract": "从单张RGB图像重建交互双手面临双手相互遮挡、局部外观相似以及复杂空间关系导致的视觉特征混淆、估计网格与图像不对齐和姿态解空间过大等问题。本文提出一种解耦迭代细化框架，定义2D视觉特征空间与3D关节特征空间：先从视觉特征图获取关节级特征，在3D关节特征空间中分别用图卷积网络和Transformer进行手内与手间信息交互，再将包含全局信息的关节特征以无混淆方式投影回2D视觉特征空间，并利用2D卷积进行像素级增强。通过在两个特征空间中多次交替增强，该方法能够准确、鲁棒地重建交互双手，并在InterHand2.6M数据集上大幅优于现有双手重建方法。\n",
  "keywords": [
    "交互双手重建",
    "单张RGB图像",
    "解耦迭代细化",
    "2D视觉特征空间",
    "3D关节特征空间",
    "图卷积网络",
    "Transformer",
    "像素级对齐",
    "MANO",
    "InterHand2.6M"
  ],
  "paper_institutions": [
    "State Key Laboratory of Networking and Switching Technology, Beijing University of Posts and Telecommunications",
    "PICO IDL, ByteDance, Beijing"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:32:38.306832Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文研究从单张RGB图像重建交互双手这一问题，其难点在于双手严重相互遮挡、局部外观高度相似会造成视觉表征混淆和网格-图像不对齐，而复杂手间空间关系又显著扩大姿态解空间并增加网络优化难度；已有方法或依赖深度相机、多相机系统，或借助热图、关节可见性、部件分割等视觉线索却未充分建模手间依赖，基于冗余节点的Transformer需要额外节点-关节关联，基于网格顶点的密集交互则计算昂贵且容易过拟合。作者提出解耦迭代细化框架，将任务分解为3D空间关系建模与2D像素级对齐：以ImageNet预训练ResNet-50为编码器提取多尺度特征，先用轻量空间注意力分离左右手全局特征并回归MANO参数、弱透视相机参数和双手相对偏移，再在解码阶段交替执行关节特征交互与视觉特征增强；其核心机制是根据3D到2D投影和双线性插值采样关节视觉特征，并与坐标编码相加得到 J = J^coord + J^visual，随后用GCN沿骨骼结构建模单手内关节依赖、用多层Transformer建模双手关节间关系，最后通过多平面特征投影MFP将每个关节特征独立投影到不同特征平面并拼接为 M = concat(M_1, …, M_2J)，避免不同关节投影到邻近像素时发生特征混淆，同时把全局上下文传回2D卷积进行局部像素级细化。实验主要在InterHand2.6M上进行，使用其5 FPS版本且只采用交互双手数据，包括366K训练图像和261K测试图像，将多视图图像按单视图处理，因而能够验证复杂交互姿态、大幅视角变化和单目条件下的性能；RGB2Hands、EgoHands、100DOH及Tzionas等野外数据集则用于检验不同视角、背景、光照和图像质量下的泛化能力。实现上采用PyTorch和单张NVIDIA A100，AdamW优化器初始学习率3e-4、余弦衰减，训练50个epoch、批大小64，输入手部区域裁剪并缩放至256×256，并使用随机旋转、缩放、平移、水平翻转和运动模糊增强。评价指标包括MPJPE、MPVPE、MIAA、MRRPE、PCK、AUC以及衡量双手碰撞的穿透体积IV；两阶段完整模型取得10.49 mm MPJPE、10.26 mm MPVPE、6.18像素MIAA和28.98 mm MRRPE，相比IntagHand的MPJPE和MPVPE分别降低15.40%和15.14%，IV为4.14 cm³并低于IntagHand的4.37 cm³，两阶段推理速度为31 FPS，三阶段为23 FPS且误差进一步降至10.44 mm，这些结果支持紧凑语义关节节点、GCN+Transformer关系建模和MFP无混淆反馈的有效性。该方法适用于VR、AR、机器人等只需普通RGB输入的场景，不需要相机内参或深度硬件，但在严重遮挡、紧密细粒度交互、模糊、阴影或黑暗区域等多种不利条件叠加时仍可能失败；未来可显式建模碰撞、更充分利用3D网格信息并采用高保真参数手模型以实现更精细的网格-图像对齐。\n\n### 关键要点\n\n- 框架采用编码器-解码器结构，ResNet-50编码器提取多尺度图像特征，解码器在多个阶段交替细化3D关节特征和2D视觉特征。\n- 初始估计通过空间注意力分离左右手全局特征，再分别回归每只手62维MANO参数、3维弱透视相机参数，并预测3维双手相对偏移。\n- 关节特征由弱透视投影位置附近的双线性视觉特征与关节坐标编码相加构成，投影依赖预测相机，因此不需要已知相机内参。\n- GCN依据手部骨骼图在单手关节间传递信息，Transformer在双手关节间建模灵活的长程空间关系。\n- MFP将每个关节特征独立投影到单独平面，再拼接全部双手关节平面，避免不同关节在相同或邻近像素处相互混淆。\n- 训练损失包含3D/2D关节与网格监督、相对偏移监督、手部网格法向和边长一致性约束，以及分割和稠密对应图的像素级辅助监督。\n- InterHand2.6M实验使用5 FPS的交互双手子集，包含366K训练图和261K测试图，所有图像均按单视图RGB输入处理。\n- 训练在单张A100上完成，使用PyTorch、AdamW、3e-4初始学习率、余弦衰减、50个epoch和批大小64，输入裁剪区域缩放为256×256。\n- 完整两阶段模型在InterHand2.6M上达到10.49 mm MPJPE、10.26 mm MPVPE、6.18像素MIAA和28.98 mm MRRPE，均优于对比方法。\n- 消融显示GCN与Transformer结合效果最佳，MFP优于单平面投影和仅传递位置的多平面热图投影，迭代细化可逐步修正错误空间关系和不对齐网格。\n- 仅用InterHand2.6M训练、未在其他手部数据上微调时，方法在RGB2Hands、EgoHands、100DOH和Tzionas数据上仍表现出较强跨场景泛化能力。\n- 方法未显式建模碰撞，在严重遮挡、紧密交互、模糊、黑暗或阴影等条件叠加时仍可能出现手部穿模或局部重建错误。"
}