{
  "paper_id": "f6ea354a6f256477d4c7e2a22e4319cb",
  "paper_title": "Keypoint Transformer: Solving Joint Identification in Challenging Hands and Object Interactions for Accurate 3D Pose Estimation",
  "paper_authors": [
    "Shreyas Hampali",
    "Sayan Deb Sarkar",
    "Mahdi Rad",
    "Vincent Lepetit"
  ],
  "publication_date": "",
  "publication_venue": "2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)",
  "abstract": "我们提出一种鲁棒且精确的方法，用于从单张彩色图像估计近距离交互的双手3D姿态。该问题极具挑战性，因为会发生严重遮挡以及大量关节间混淆。现有最优方法通过为每个关节回归热图来解决，这需要同时完成两个任务：定位关节并识别关节。本文提出将这些任务分离：依靠CNN首先将关节定位为2D关键点，再利用这些关键点处CNN特征之间的自注意力将其关联到对应的手部关节。所得架构称为“Keypoint Transformer”，非常高效：在InterHand2.6M数据集上以约一半的模型参数量达到最优性能。我们还表明它可以轻松扩展，以高性能估计由一只或两只手操作的物体的3D姿态。此外，我们创建了一个包含超过75,000张双手操作物体图像的新数据集，全部具有3D标注，并将公开发布。\n",
  "keywords": [
    "3D手部姿态估计",
    "关键点Transformer",
    "关节身份识别",
    "自注意力",
    "交叉注意力",
    "双手交互",
    "手物交互",
    "物体姿态估计",
    "InterHand2.6M",
    "H2O-3D"
  ],
  "paper_institutions": [
    "Institute for Computer Graphics and Vision, Graz University of Technology, Graz, Austria",
    "LIGM, Ecole des Ponts, Univ Gustave Eiffel, CNRS, Marne-la-Vallée, France"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:21:13.262077Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文解决单张RGB图像中双手近距离交互时的3D姿态估计问题，该任务因严重遮挡及双手关节外观高度相似而极具挑战性；现有最优方法通过为每个关节回归热图，需同时完成关节定位与身份识别，在复杂交互中易产生混淆，而引入分割、可见性或细化层的方法又增加了网络复杂度。作者提出将两任务解耦：先用U-Net通过单通道热图检测潜在关节关键点（最多64个，允许漏检与误检），再利用关键点间的多层多头自注意力建模全局相互约束，将每个关键点关联到具体的（左右手，关节索引）身份或背景类，最后用单层交叉注意力以学习到的关节查询选择对应关键点，预测双手根关节相对姿态、手间相对平移及MANO形状参数；其核心选择机制可由公式 CA(Q_j,G)=softmax(Q_j^T W_K G/16)(W_V G)^T 概括。该架构还可通过在物体分割图上随机采样20个物体关键点、增加物体身份及旋转平移查询，轻松扩展到单手或双手操作物体的3D物体姿态估计，并采用对称感知物体角点损失。方法在InterHand2.6M（双手交互，1.36M训练/849K测试）、HO-3D（单手-物体，66K/11K）上评估，并新建H2O-3D数据集（5名受试者、10个YCB物体、5台RGBD相机，60,998训练/15,342测试，双手操作物体的完整3D标注）；在InterHand2.6M上以约一半参数量达到最优（2.5D表示下总体MPJPE 12.78mm、MRRPE 29.63mm，较InterNet精度提升约10%），在HO-3D上关节误差2.57、平均关节AUC 0.54、MSSD 7.02，在H2O-3D上MPJPE 3.09cm、MRRPE 8.28cm、MSSD 7.96cm。消融表明关键点-关节关联损失可使交互手MPJPE降低约10%、MRRPE降低约15%，且方法对噪声及漏检关键点鲁棒；3D与2.5D表示精度相近，MANO关节角表示略低但具竞争力。该方法面向虚拟现实、增强现实及人机/机器人交互等场景，主要约束为严重遮挡下手间平移与物体姿态估计仍较困难，未来可推广至人体及其他铰接物体、类别级物体姿态预测，并可结合接触与穿透建模及弱监督学习。\n\n### 关键要点\n\n- 方法采用三阶段流程：U-Net单通道热图检测关键点、自注意力完成关键点-关节身份关联、交叉注意力聚合关键点特征并预测3D姿态。\n- 关键点检测阶段最多保留64个手部关键点，而双手共42个关节；允许关节漏检或关键点误检，2D坐标归一化到[^0] [^1]，热图以L2损失训练。\n- 每个关键点在U-Net解码器多层特征上双线性采样并拼接成3968维外观向量，经3层MLP降为224维，再拼接32维正弦位置编码，形成256维表示。\n- 自注意力模块对所有关键点同时建模相互约束，并用交叉熵损失L_KI将其分类为（左右手，关节索引）或背景；训练时以3像素阈值将关键点匹配到最近的真值3D关节重投影。\n- 单层交叉注意力使用学习到的关节查询（如2.5D表示每手21个）聚合身份感知关键点，额外查询预测手间相对平移T_L→R和10维MANO形状参数，以L1损失监督。\n- 架构支持3D关节位置、2.5D关节位置、MANO关节角三种表示；实验中3D与2.5D精度相近，关节角表示精度较低但仍具竞争力。\n- 物体姿态扩展通过给U-Net增加物体分割头，随机采样20个物体关键点，增加物体身份及旋转、平移查询，并使用对称感知物体角点损失训练。\n- 在InterHand2.6M的2.5D设置下，方法取得总体MPJPE 12.78mm、MRRPE 29.63mm，优于InterNet的14.22mm、32.57mm，精度提升约10%。\n- 使用ResNet-18骨干时总参数约28M，约为InterNet（48M）的一半，且性能仍超越InterNet；增加交叉注意力层数对精度影响很小。\n- 在HO-3D上取得关节误差2.57、平均关节AUC 0.54、MSSD 7.02，显著优于HOnnotate及Hasson等先前方法。\n- 新建H2O-3D数据集包含5名受试者双手操作10个YCB物体的5视角视频，共60,998张训练、15,342张测试图像，具备双手与物体完整3D标注，测试集含7个见过物体和1个未见物体。\n- H2O-3D上MPJPE为3.09cm、MRRPE为8.28cm、MSSD为7.96cm；因物体遮挡，MRRPE约为无物体InterHand2.6M的2.5倍，真值物体分割面积低于裁剪图2%的图像不参与物体姿态评估。"
}