{
  "paper_id": "c8d9f9cdd409297aa6747854817f61bb",
  "paper_title": "DF-Mamba: Deformable State Space Modeling for 3D Hand Pose Estimation in Interactions",
  "paper_authors": [
    "Yifan Zhou",
    "Takehiko Ohkawa",
    "Guwenxiao Zhou",
    "Kanoko Goto",
    "Takumi Hirose",
    "Yusuke Sekikawa",
    "Nakamasa Inoue"
  ],
  "publication_date": "",
  "publication_venue": "2026 IEEE/CVF Winter Conference on Applications of Computer Vision (WACV)",
  "abstract": "建模日常手部交互常面临双手重叠等严重遮挡，因此3D手部姿态估计需要鲁棒特征学习。为处理遮挡手部图像，必须有效学习局部图像特征（如被遮挡关节）与全局上下文（如关节间、双手间或场景线索）之间的关系。然而当前多数3D HPE方法仍依赖ResNet提取特征，CNN的归纳偏置因全局上下文建模能力有限而可能并非最优。为此，论文提出基于状态空间建模（Mamba）的高效视觉特征提取框架Deformable Mamba（DF-Mamba）。该框架借助Mamba选择性状态建模和所提出的可变形状态扫描，捕获标准卷积之外的全局上下文线索；对于卷积后的局部特征，可变形扫描在图像内聚合特征，同时选择性保留表示全局上下文的有用线索。该方法显著提升结构化3D HPE精度，推理速度与ResNet-50相当。实验在五个差异显著的数据集上广泛评估，涵盖单手与双手、纯手与手物交互，以及RGB和深度估计；DF-Mamba在所有数据集上优于VMamba和Spatial-Mamba等最新图像主干，并达到当前最优性能。\n",
  "keywords": [
    "3D手部姿态估计",
    "状态空间模型",
    "Mamba",
    "可变形扫描",
    "视觉主干网络",
    "遮挡处理",
    "双手交互",
    "手物交互"
  ],
  "paper_institutions": [
    "Institute of Science Tokyo",
    "Denso IT Laboratory",
    "The University of Tokyo"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:42:36.352061Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对日常双手交叠和手物操作中严重遮挡使3D手部姿态估计难以同时利用被遮挡关节局部特征与关节间、双手间、手物间及场景全局上下文的问题，论文指出ResNet等CNN局部卷积的全局建模能力有限，ViT计算复杂度较高，而VisionMamba、VMamba和Spatial-Mamba的固定网格扫描难以适应手部结构变化。为此提出Deformable Mamba（DF-Mamba），其核心可变形状态空间建模通过输入相关的锚点权重 \\(b_k\\) 与二维偏移 \\(o_{k,t}\\) 聚合邻近特征，核心递推为 \\(h(t)=\\bar A h(t-1)+\\bar B\\sum_{k=1}^{K}b_k x(p_t+a_k+o_{k,t})\\)、\\(y(t)=Ch(t)+Dx(p_t)\\)，默认 \\(K=9\\)，使隐状态 \\(h\\) 选择性保存全局线索。整体主干采用卷积、DSSM+FFN和门控卷积组成的CCDGDG三混合架构，低层提取局部特征、高层进行可变形状态扫描并由门控卷积精炼。实验选择InterHand2.6M、RHP、NYU、DexYCB和AssemblyHands五个差异显著的数据集，以覆盖单手与双手、纯手与手物、RGB与深度以及第一视角场景，并接入Jiang等与Zhou等两个代表性框架；所有模型按相同划分从头训练，在单张NVIDIA H100上以FP32实施，FPS在InterHand2.6M上以batch size 1测量，从而验证主干可直接替换ResNet-50并跨场景泛化。采用MPJPE、EPE、ME和AUC等评估协议，DF-Mamba在InterHand2.6M取得单手7.94 mm、双手10.53 mm、全体9.32 mm，RHP在无GT尺度和左右手信息下EPE为17.16，NYU深度设置ME为7.96 mm，DexYCB MPJPE为17.80 mm、AUC为87.31，AssemblyHands MPJPE为18.78 mm、AUC为86.12，整体优于VMamba、Spatial-Mamba等最新主干并达到SOTA，支持可变形扫描和三混合设计的有效性；模型约42M、FPS约112.2，速度与ResNet-50相当，适用于AR/VR等实时约束，但论文主要改进主干，解码器仍有开销，未来可优化解码器、扩展到3D人体姿态、利用外部数据预训练、结合手部网格重建解码器并发展跨场景基础模型。\n\n### 关键要点\n\n- DSSM将常规SSM的固定输入采样改为可变形采样，按输入特征预测多个锚点的偏移和权重，从而把相关局部线索聚合到可表示全局上下文的隐状态中。\n- 默认锚点来自二维 \\(3\\times3\\) 邻域，即 \\(K=9\\)；当 \\(K=1\\)、偏移为零且权重为1时DSSM退化为标准Mamba，并可涵盖Spatial-Mamba的膨胀式特殊情形。\n- DF-Mamba采用CCDGDG六阶段三混合架构：阶段1、2以卷积块提取局部特征，阶段3、5使用DSSM+FFN，阶段4、6使用计算高效的门控卷积块。\n- DSSM块沿用归一化、线性层、深度卷积、SiLU激活、门控和残差连接，并以DSSM层替代原始Mamba块中的SSM层。\n- 五个数据集分别覆盖双手交互、单手、深度、手物交互和第一视角装配场景，用于检验主干在不同模态与交互类型下的通用性。\n- 所有主干均在相同数据划分上从头训练，实验使用单张NVIDIA H100和FP32，推理速度以batch size 1在InterHand2.6M上测量。\n- 与ResNet-50、ConvNeXt-T、ViT-S、Swin-T、VMamba-T和Spatial-Mamba-T等规模相近主干相比，DF-Mamba在五个数据集上整体取得更优关节误差或AUC。\n- 在InterHand2.6M上，DF-Mamba的单手、双手和全体MPJPE分别为7.94 mm、10.53 mm和9.32 mm，FPS为112.2、参数量约42M。\n- 在RHP上，DF-Mamba不使用数据集提供的真值尺度和左右手信息，EPE达到17.16，显示出在有限训练数据和多样背景下的泛化能力。\n- 在NYU深度-only设置下，DF-Mamba的ME达到7.96 mm，并优于多种深度手部姿态估计方法，说明可变形扫描有助于从深度特征中灵活学习。\n- 在DexYCB和AssemblyHands上，DF-Mamba分别取得17.80 mm与18.78 mm的MPJPE，AUC分别为87.31与86.12，提升了固定相机手物场景和第一视角真实交互场景的鲁棒性。\n- 消融实验显示移除可变形扫描会使DexYCB MPJPE从17.80升至18.90、AssemblyHands从18.78升至19.38，CCDGDG架构优于混合或单一架构，且 \\(K=9\\) 效果最佳；主要约束是研究聚焦主干，解码器效率仍需后续优化。"
}