{
  "paper_id": "750c8df7b55f1898606ac3699b1dabd1",
  "paper_title": "Interacting Two-Hand 3D Pose and Shape Reconstruction from Single Color Image",
  "paper_authors": [
    "Baowen Zhang",
    "Yangang Wang",
    "Xiaoming Deng",
    "Yinda Zhang",
    "Ping Tan",
    "Cuixia Ma",
    "Hongan Wang"
  ],
  "publication_date": "",
  "publication_venue": "2021 IEEE/CVF International Conference on Computer Vision (ICCV)",
  "abstract": "本文提出一种新颖的深度学习框架，用于从单张彩色图像重建两只交互手的三维姿态与形状。以往面向单手设计的方法因严重的手间遮挡和更大的解空间而难以直接应用于双手场景。为解决遮挡以及双手外观相似可能使网络混淆的问题，作者设计了手部姿态感知注意力模块，分别提取与每只手相关的特征；随后利用交互中存在的双手上下文，提出上下文感知级联精修方法，在双手交互上下文条件下提升每只手的姿态和形状精度。在主要基准数据集上的大量实验表明，该方法能够从单张彩色图像预测准确的三维手部姿态和形状，并达到最先进性能。代码可在项目网页获取：<https://baowenz.github.io/Intershape/。>\n",
  "keywords": [
    "交互双手",
    "三维手部姿态估计",
    "手部形状重建",
    "单张彩色图像",
    "MANO",
    "姿态感知注意力",
    "上下文感知级联精修",
    "InterHand2.6M",
    "Haggling"
  ],
  "paper_institutions": [
    "中国科学院软件研究所",
    "中国科学院大学",
    "东南大学",
    "谷歌",
    "西蒙弗雷泽大学",
    "阿里巴巴"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:41:13.844464Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对单张彩色图像中两只交互手存在严重手间遮挡、外观纹理相似且双手自由度加倍使病态逆问题加剧的问题，本文研究同时恢复三维手部骨架姿态与细粒度网格形状的方法。已有单手方法难以直接处理双手，深度相机、多视角系统或视频跟踪优化存在成本高、初始化敏感等问题，而现有RGB双手方法多聚焦姿态且缺少细粒度形状重建；为此提出以ResNet-50为多尺度编码器、逐级解码器精修的深度学习框架。方法采用MANO统计手模型，核心表示为 M = W(T(β, θ), J(β), W)，分别预测左右手的形状参数β、姿态参数θ以及双手相对平移Δ和尺度s，并将各手根关节坐标统一；编码器利用逐关节2.5D热图构造每只手的姿态感知注意力，掩膜并池化对应图像区域以避免双手特征混淆，初始估计后再依据上一级MANO参数渲染关节热图，把双手特征与双手MANO参数联合输入MLP，进行上下文感知级联精修。模型用PyTorch实现，采用Adam训练，学习率为5×10^-5、批大小为20、迭代500K，手部区域按边界框裁剪并缩放至256×256，以中指掌指关节到腕关节的距离归一化实现尺度不变估计。实验选择InterHand2.6M的交互帧（训练141,497帧、测试125,689帧）和Haggling（训练80,953帧、测试24,363帧），前者具有大规模高质量3D及形状标注，后者用于检验真实社交手势；RGB2Hands和Ego3DHands分别因背景不真实和合成域差距而未用于主评测。评价使用根关节对齐后的MPJPE、PCK、AUC（0–50mm）以及网格顶点平均误差shape-err；本文在InterHand2.6M上取得MPJPE 13.071mm、shape-err 10.398mm，在Haggling上取得MPJPE 11.419mm，达到最先进水平，支持注意力解耦和双手上下文精修的有效性。未来可扩展到视频、深度、手物交互和全身重建；应用面向AR/VR、机器人、社交手势理解与复杂双手操作，但单RGB方案仍受遮挡、接触或分离的细微歧义、边界框依赖以及测试时用真实骨长恢复尺度等约束。\n\n### 关键要点\n\n- 网络以ResNet-50作为多尺度特征编码器，先预测双手逐关节2.5D热图，再通过初始估计和逐级解码器恢复双手姿态与形状。\n- 每只手均由MANO模型表示，网络预测左右手的形状参数、姿态参数，以及双手相对平移Δ和尺度s，用于将两只手统一到同一坐标系。\n- 姿态感知注意力模块利用逐关节热图标定每只手的感兴趣区域，将注意力图与特征图逐通道相乘，再经卷积和全局平均池化得到单手特征。\n- 上下文感知级联精修会根据上一级估计的MANO参数渲染双手关节热图，关节投影为方差1.5的二维高斯图，并结合双手MANO参数和图像特征更新结果。\n- 渲染三维关节所需的弱透视相机参数通过对齐预测MANO关节与2.5D热图获得，而不是由额外网络直接预测。\n- 作者用t-SNE分析发现，真实配对的交互双手姿态在二维流形上具有明显相关性，而随机交换形成的非配对姿态分布近乎随机，从而验证双手上下文建模的必要性。\n- 训练损失包括双手关节偏移损失、双手形状一致性损失、单手关节L1损失、归一化骨长损失、MANO形状参数损失和正则项，总权重分别配置为1、0.01、10、100、0.1和0.05。\n- InterHand2.6M交互子集包含141,497个训练帧和125,689个测试帧，Haggling数据集包含80,953个训练帧和24,363个测试帧。\n- 在InterHand2.6M上，本文方法的MPJPE为13.071mm、shape-err为10.398mm；在Haggling上MPJPE为11.419mm，均优于所比较的单手和双手方法。\n- 消融实验中，完整模型的MPJPE和AUC分别为13.071mm和0.754，优于无注意力、仅输入单手MANO参数以及只使用高层特征的变体。\n- 方法在训练和测试中依赖标注边界框裁剪手部区域，测试时使用真实骨长恢复尺度，且训练阶段不直接监督相对平移Δ和尺度s；Haggling也没有手部形状标注。"
}