{
  "paper_id": "eafebdd7109ce5ef5fc154c9c5ed210f",
  "paper_title": "HandMCM: Multi-modal Point Cloud-based Correspondence State Space Model for 3D Hand Pose Estimation",
  "paper_authors": [
    "Wencan Cheng",
    "Gim Hee Lee"
  ],
  "publication_date": "",
  "publication_venue": "AAAI",
  "abstract": "3D手部姿态估计需要准确预测人手关键点的三维位置，对增强现实等人机交互应用至关重要，但手部自遮挡以及与物体交互造成的遮挡使该任务面临很大挑战。本文提出HandMCM来应对这些问题。该方法基于强大的状态空间模型Mamba，通过引入局部信息注入/过滤模块和对应建模模块，使所提出的对应Mamba能够在多种遮挡场景下有效学习关键点高度动态的运动学拓扑。同时，模型融合多模态图像特征，增强输入的鲁棒性与表达能力，从而得到更准确的手部姿态估计。在三个基准数据集上的实验表明，该模型显著优于当前最先进方法，尤其在严重遮挡等挑战性场景中表现突出，展现出提升实际应用中3D手部姿态估计准确性和可靠性的潜力。\n",
  "keywords": [
    "3D手部姿态估计",
    "多模态",
    "点云",
    "状态空间模型",
    "Mamba",
    "对应建模",
    "遮挡处理",
    "RGBD"
  ],
  "paper_institutions": [
    "Department of Computer Science, National University of Singapore"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:17:20.184865Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文面向增强现实、虚拟现实和机器人等实际人机交互场景，研究自遮挡与手物交互遮挡下的3D手部姿态估计问题。已有基于CNN、3D体素、点云或静态图卷积的方法难以充分刻画关键点之间随姿态和交互方式动态变化的运动学关系，Hamba等工作虽引入Mamba，却仍依赖图卷积提取对应关系并忽略局部几何。为此，作者提出HandMCM，将RGB图像、深度图像及由深度投影得到的3D点云作为输入，通过多模态超级点编码器融合PointSetConv提取的局部3D几何特征与两个ResNet自编码器提取的深度、RGB视觉特征，再由关键点token和双向对应状态空间模型迭代回归三维关键点。其核心机制是将前向和后向SSM输出构造动态对应图，即 $\\mathbf{M}_{corr}=\\mathbf{W}_{c}(\\mathbf{U}_{f}\\otimes\\operatorname{Reverse}(\\mathbf{U}_{b}))$，并用 $\\mathbf{X}_{k}=\\mathbf{M}_{corr}\\mathbf{V}$ 更新token；局部token注入与过滤则通过kNN聚合关键点附近几何，并以 $\\mathbf{J}_{k}=(\\mathbf{G}\\odot\\mathbf{X}_{k}+(1-\\mathbf{G})\\odot\\mathbf{X}_{loc})\\mathbf{W}_{r}$ 融合对应特征和局部特征。实验选用NYU、DexYCB和HO3D_v2，分别验证单手场景、手物交互中未见主体/视角/物体场景以及在线评测的动态遮挡场景；实现上采用PyTorch和RTX 4090、AdamW优化器、学习率0.001、输入分辨率128×128、1024个输入点、256个超级点、批大小32，并使用旋转、缩放、平移增强，NYU因RGB存在大量孔洞和伪影而仅用深度。评价指标为预测与真值关键点间的平均欧氏距离MKE，HandMCM在NYU上达到7.06mm，在DexYCB的S0、S1、S2、S3协议上分别达到6.27mm、7.86mm、6.20mm、6.30mm、平均6.67mm，在HO3D_v2上达到1.71cm，并在DexYCB上较其他模型体现约11.5%的显著优势；在RTX 4090上平均每帧运行15.4ms，快于K-Fusion的17.8ms。消融显示无对应模块基线为8.47mm，仅对应SSM降至8.15mm，加入局部注入和过滤后达到7.06mm，且3层Mamba堆叠最优，这些结果支持动态对应建模和局部几何利用的有效性。该方法当前尚不能很好处理双手交互场景，未来可向双手姿态、复杂遮挡和实际部署约束扩展。\n\n### 关键要点\n\n- HandMCM以RGB图像、深度图像和由深度投影得到的3D点云为多模态输入，输出手部3D关键点坐标。\n- 多模态超级点编码器使用点集卷积提取3D局部几何特征，并使用独立的ResNet自编码器提取深度和RGB特征，再经投影、插值与拼接形成融合特征。\n- 关键点token初始化借鉴HandFoldingNet的关节级嵌入，通过全局向量复制和三层带偏置层为每个关键点生成具有独立偏置的token。\n- 对应Mamba对关键点序列进行前向和后向SSM扫描，并通过外积显式构建包含双向信息的动态关键点对应图。\n- 局部token注入利用kNN收集每个关键点附近的超级点、局部坐标和多模态特征，再经点集卷积聚合局部几何信息。\n- 局部过滤机制使用sigmoid生成权重，在更新后的对应token与局部token之间进行加权融合，以适应可见点和遮挡点估计。\n- 训练对初始关键点输出和全部堆叠Mamba块的输出进行监督，采用对异常值更稳健的smooth L1损失。\n- NYU包含72K训练帧和8K测试帧，按惯例使用单视角14个关键点；因RGB质量差且存在大量孔洞伪影，HandMCM在该数据集上仅使用深度。\n- DexYCB包含582K帧、21个手部关键点、8个视角、10名对象和20个YCB物体，并通过S0至S3协议测试未见主体、视角和物体等泛化场景。\n- HO3D_v2包含66K训练图像和11K测试图像，涉及10名对象与10个物体，测试结果需通过专门的在线提交系统评估。\n- 模型在RTX 4090上训练和测试，平均运行时间为15.4ms，其中点下采样约0.3ms，速度优于同GPU上需17.8ms的K-Fusion。\n- HandMCM在NYU、DexYCB和HO3D_v2上分别取得7.06mm、6.67mm和1.71cm的MKE，消融实验也证明对应SSM、局部注入和局部过滤均能降低误差。"
}