{
  "paper_id": "e3fae142cc449928bdc133fec12cd20c",
  "paper_title": "HandOccNet: Occlusion-Robust 3D Hand Mesh Estimation Network",
  "paper_authors": [
    "JoonKyu Park",
    "Yeonguk Oh",
    "Gyeongsik Moon",
    "Hongsuk Choi",
    "Kyoung Mu Lee"
  ],
  "publication_date": "2022",
  "publication_venue": "CVPR 2022",
  "abstract": "手部常被物体严重遮挡，这使得3D手部网格估计极具挑战性。以往工作往往忽略了遮挡区域的信息。然而，我们认为遮挡区域与手部存在强相关性，因而能为完整的3D手部网格估计提供高度有益的信息。为此，本文提出了一种新颖的3D手部网格估计网络HandOccNet，能够充分利用遮挡区域的信息作为辅助手段来增强图像特征，使其更加丰富。为此，我们设计了两个连续的基于Transformer的模块：特征注入Transformer（FIT）和自增强Transformer（SET）。FIT通过考虑相关性将手部信息注入遮挡区域；SET利用自注意力机制精炼FIT的输出。通过将手部信息注入遮挡区域，HandOccNet在包含挑战性手-物遮挡的3D手部网格基准上达到了最先进的性能。代码开源于：https://github.com/namepllet/HandOccNet。",
  "keywords": [
    "3D手部网格估计",
    "遮挡鲁棒性",
    "Transformer",
    "特征注入",
    "手-物交互",
    "MANO",
    "空间注意力"
  ],
  "paper_institutions": [
    "Dept. of ECE & ASRI, Seoul National University, Korea",
    "IPAI, Seoul National University, Korea"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:35:49.738165Z",
  "template_tag": "simple",
  "summary": "### 摘要\n从单张RGB图像估计3D手部网格时，手部常被所操纵的物体严重遮挡，以往基于空间注意力的方法（多用于2D人体姿态估计）倾向于抑制遮挡区域特征、仅依赖稀疏的可见手部信息，加之2D到3D映射固有的深度歧义，使其在严重遮挡下容易出错。针对该问题，本文提出遮挡鲁棒的3D手部网格估计网络HandOccNet，其核心是特征注入机制：骨干网络（ResNet50-FPN）从512×512×3的手部图像提取32×32×256的特征F，并通过无监督学习的必要性图M将其按 F_P = F ⊗ M 与 F_S = F ⊗ (1−M) 分离为代表手部区域的主特征与代表遮挡区域的次特征；特征注入Transformer（FIT）以次特征为查询、主特征为键值对，结合softmax注意力与sigmoid注意力生成最终相关图 C = C_soft ⊗ C_sig（sigmoid分支经平均池化过滤softmax在整体相关性低时产生的不期望高相关分数），并移除查询残差连接以实现“替换式”注入，将主特征中的手部信息注入遮挡区域；随后自增强Transformer（SET）以自注意力精炼FIT输出，回归器再经hourglass网络与残差块预测MANO姿态（48维）与形状（10维）参数，得到778顶点的3D手部网格。实验选用包含真实且具挑战性手-物遮挡的HO-3D与FPHA数据集，以验证方法在贴近日常手-物交互场景下的有效性；实现采用PyTorch、Adam优化器、批大小24、初始学习率10^-4并每10轮退火，损失为热图、MANO参数、网格与3D关节坐标的L2距离组合。评估指标为Procrustes对齐后的平均关节误差、网格误差与F-score：HandOccNet在HO-3D上达到9.1mm关节误差、8.8mm网格误差、F@5为56.4、F@15为96.3，在FPHA上达到10.8mm关节误差，均显著优于此前最先进方法，消融实验进一步验证了FIT+SET组合、softmax+sigmoid双注意力及去除残差连接设计的有效性。未来可探索在更大规模数据集（如Dex-YCB）上的泛化、更高效的注入机制以及与手-物联合重建的结合；该方法可应用于AR/VR、第一人称交互与机器人抓取等手部被物体遮挡的真实场景，但单目RGB输入的深度歧义与极端遮挡下次特征信息有限仍是主要约束。\n\n### 关键要点\n- 提出HandOccNet，一种从单张RGB图像进行遮挡鲁棒3D手部网格估计的新框架，首次将遮挡区域特征作为辅助信息加以利用而非简单抑制。\n- 骨干网络采用ResNet50-FPN提取特征，并通过三层卷积加sigmoid无监督估计必要性图M，将特征按 F_P = F ⊗ M 与 F_S = F ⊗ (1−M) 分离为主特征（手部区域）与次特征（遮挡区域）。\n- FIT以次特征为查询、主特征为键值对，通过softmax注意力与sigmoid注意力生成的相关图 C = C_soft ⊗ C_sig 将手部信息注入遮挡区域，并移除查询残差连接以实现真正的“注入”而非叠加。\n- sigmoid注意力模块对每个查询与全局键信息的相关性做平均池化，用于过滤softmax在整体乘积值偏低时产生的不期望高相关分数；实验发现去掉该池化会导致训练发散。\n- SET仅采用softmax自注意力并保留残差连接以精炼FIT输出；实验表明使用两个SET收益甚微，故最终仅使用一个SET。\n- 回归器由单块hourglass网络生成2D关节热图，经四个残差块与全连接层预测MANO姿态参数（48维）与形状参数（10维），最终得到778顶点的3D手部网格。\n- 训练采用PyTorch实现、Adam优化器、批大小24，在HO-3D与FPHA上以初始学习率10^-4每10轮退火；损失函数为预测与真值在热图、MANO参数、网格及3D关节坐标上的L2距离组合。\n- 在HO-3D测试集上（Procrustes对齐后），HandOccNet达到9.1mm平均关节误差、8.8mm网格误差、F@5为56.4、F@15为96.3，全面超越Pose2Mesh、I2L-MeshNet、METRO及Liu等先前最先进方法。\n- 在FPHA数据集上，HandOccNet的3D关节误差为10.8mm，相比此前最佳的Hasson等（14.9mm）与Liu等（16.0mm）有显著提升。\n- 消融实验显示FIT+SET组合（9.1mm关节误差）优于Identity（10.6mm）、残差块（10.2mm）及单独使用FIT（9.4mm）或SET（9.8mm）的变体，验证了双Transformer架构的有效性。\n- 特征可视化表明FIT成功将手部信息注入遮挡区域（红框内出现实心激活），SET进一步增强遮挡区域表征；定性对比显示其在严重遮挡下仍能准确估计手部全局旋转。\n- 方法适用于AR/VR、第一人称视角应用与机器人抓取等日常手-物交互的真实遮挡场景，但单目RGB固有的深度歧义与极端遮挡下次特征可用信息有限仍是约束；代码已在GitHub开源。"
}