Figure 1: Illustration of our HandMCM concept. The model extracts multi-modal 3D point features from input depth images, RGB images, and corresponding point clouds. The Mamba architecture directly explores geometric and kinematic correspondences in 3D point space to accurately recover hand poses.
等人于2017年的研究；Moon、Yong Chang和Mu Lee在2018年的研究），或是多模态组合（Ren等人于2023年的研究）都已被广泛探讨。
尽管这些方法取得了显著进展，但在存在手-物遮挡和自遮挡的场景中，精准估计仍然颇具挑战性。为了利用可见关键点的信息来重建被遮挡的关键点，近期的研究（Cheng和Ko，2023年；Ren等人，2023年；Wang等人，2023年），比如Hamba（Dong等人，2024年），试图通过图卷积来捕捉关键点之间的空间运动关系。然而，由于手部姿态和交互方式的多样性，那些基于静态图的方法难以准确建模复杂的遮挡情况以及关键点之间的动态空间关系。
为应对这些挑战，我们提出了一种名为多模态对应Mamba（HandMCM）的新颖架构。这是首个采用状态空间模型来捕捉动态运动对应关系、从而在各种遮挡情况和复杂姿态下实现精确3D手部姿态估计的架构。与Hamba中辅助图机制的简单组合相比，所提出的对应Mamba机制在建模动态运动对应关系方面展现出优越性（Dong等人，2024年）。这种优势源于一种直观的动机：空间对应关系可以被有效地视为序列数据来处理（Liu等人，2017年），而这与Mamba模型的特性高度契合。
---
为了进一步提升精度，HandMCM引入了局部几何注入与过滤机制，该机制会向Mamba模块显式提供诸如可见关键点和遮挡区域等局部几何信息。这使得Mamba机制能够根据局部细节，自动激活用于估计遮挡/可见关键点的运动对应特征。此外，HandMCM采用了强大的多模态超点提取方法，通过整合彩色图像和深度图像中的遮挡信息及交互物体等视觉线索，来增强3D点云的表征能力。
我们在四个具有挑战性的基准测试集上对HandMCM进行了评估，包括单手NYU数据集（Tompson等人，2014年），以及手-物体交互的DexYCB（Chao等人，2021年）和HO3D（Hampali等人，2020年）数据集。结果显示，我们的框架取得了最先进的性能，在NYU数据集上的平均距离误差仅为7.06毫米。此外，我们的模型在手-物体交互的DexYCB和HO3D数据集上也取得了最先进的结果，平均距离误差分别为6.67毫米和1.71厘米。我们的源代码可在处公开获取。
我们的主要贡献总结如下：
- 我们提出了HandMCM，这是一种基于Mamba的新型架构，利用RGBD图像作为多模态输入来实现精确的3D手部姿态估计。
- 我们提出了一种新颖的对应状态空间模型，旨在捕捉关键点之间的运动关系，确保在遮挡情况下仍能保持高可靠性。
- 我们在大型且具有挑战性的基准测试集上开展了全面实验，证明了我们所提方法的最先进性能。
## 相关工作
## 3D手部姿态估计
传统的基于2D卷积神经网络（CNNs）的方法（Tompson等人，2014年；Ge等人，2016年；Ren等人，2019年；Chen等人，2020年；Fang等人，2020年；Ren等人，2021a；Du等人，2019年）由于易于实现，在3D手部姿态估计领域广受欢迎。然而，这些方法存在显著缺陷：无法完全捕捉3D结构的复杂性，且依赖于相机视角。
为克服这些局限，人们开发了基于3D CNNs的方法（Ge等人，2017年；Moon、Yong Chang和Mu Lee，2018年），这类方法利用从深度图像中提取的3D体素网格来表示体积数据。尽管这些3D技术在手部姿态估计方面取得了进展，但它们需要大量的内存和计算资源，这限制了其在实际应用中的实用性。
另一方面，基于PointNet的方法（Ge等人，2018年；Ge、Ren和Yuan，2018年；Chen等人，2018年；Li和Lee，2019年；Cheng、Park和Ko，2021年）能够分析点云数据，从而准确表示三维结构。PointNet是一种专为处理不规则且无结构的点云而设计的深度学习架构，它最初被应用于HandPointNet中的手部姿态估计（Ge等人，2018年）。后续的改进，如Point-to-Point模型（Ge、Ren和Yuan，2018年）以及SHPR-Net（Chen等人，2018年），通过生成逐点概率分布提升了性能。尤其是SHPR-Net（Chen等人，2018年），它将HandPointNet与额外的语义分割网络相结合以提高性能。更近期的研究中，HandFoldingNet（Cheng、Park和Ko，2021年）提出了一种新颖的折叠方法，可将预定义的二维手部骨骼转换为各种手部姿态，进而提高估计精度。遵循这一思路，HandR2N2（Cheng和Ko，2023年）提出了一种基于折叠的循环框架，通过局部点区域搜索来迭代优化关键点的位置。然而，处理点云的一个显著局限是：在卷积运算过程中，对密集点集中的邻域进行查询时会产生较高的计算成本。因此，许多现有方法往往只能采用稀疏点云，而这可能会制约整体性能。
为了弥补图像和点云的不足，IPNet（Ren等人，2023年）和Keypoint-Fusion（Liu等人，2024b）建议利用多模态表示方式：前者结合二维深度图像与三维点云，后者则融合深度图像与RGB图像。借助这种方式，模型既能高效提取密集的细节信息，又能有效捕捉三维空间特征，从而实现精准的三维手部姿态估计。
## 状态空间模型
经典的状态空间模型最初是在控制理论的线性动态系统背景下发展起来的，并因卡尔曼滤波技术（Kalman，1960年）而广为人知；在该模型中，状态变量及其转换是通过一阶微分方程来描述的。近年来，在自然语言处理领域出现了一系列新的状态空间模型（Gu等人，2020年、2021年、2022年；Gu和Dao，2023年），它们凭借独特的可解释性，作为循环神经网络与卷积神经网络之间的桥梁，加速了长序列上下文的学习过程。
最具代表性的结构化状态空间序列（S4）模型（Gu等人，2021年、2022年）展现了其有效建模序列数据依赖关系的卓越能力。随后，Mamba框架（Gu和Dao，2023年）对S4模型进行了改进：它引入了可随输入序列长度线性调整的投影矩阵，以适配长序列模型的需求；此外还加入了选择机制，可根据当前标记有选择性地沿序列或扫描路径传播或遗忘信息。虽然Mamba最初应用于自然语言处理领域，但基于Mamba的架构近期也被用于计算机视觉任务。凭借其全局感受野和动态权重机制，这些架构在图像分类（Liu等人，2024c；Zhu等人，2024年）、视频理解（Li等人，2025年）以及运动生成（Zhang等人，2024年）等任务中展现出巨大潜力。此外，基于Mamba的架构也已被应用于其他模态，如三维点云（Liang等人，2024年；
---
Liu等人（2024a）以及图表示（Wang等人，2024年），从而实现高效的三维视觉识别与稳健的长程图预测。
与我们研究最为接近的是Mamba手部重建方法Hamba（Dong等人，2024年）。不过，Hamba采用图卷积来进行对应关系提取，这并未充分发挥Mamba架构的潜力。相比之下，我们的方法着重于利用Mamba建模关键点之间的动态交互模式。此外，Hamba忽略了局部几何信息的融入，而我们的研究表明，这种信息对提升姿态估计的准确性起着关键作用。
## 预备知识
## 状态空间模型
状态空间模型（SSM）源自经典的线性控制理论，用于通过以下一组微分方程描述连续时间标量输入$u(t)$与输出$y(t)$之间的动态关系：
$$ x^{\prime}(t)=\boldsymbol{A}x(t)+\boldsymbol{B}u(t),\quad y(t)=\boldsymbol{C}x(t)+\boldsymbol{D}u(t), $$
其中$x(t) \in \mathbb{R}^N$代表连续时间状态向量，而$x'(t)$是其导数。$A \in \mathbb{R}^{N \times N}$、$B \in \mathbb{R}^{N \times 1}$、$C \in \mathbb{R}^{1 \times N}$和$D \in \mathbb{R}^{1 \times 1}$为权重参数。
## SSM的离散化
由于深度学习模型通常接受离散输入，因此必须对连续的SSM进行离散化处理。设离散的标量输入序列为$u_{1}, \ldots, u_{L}$，则SSM可重新表述为具有以下递归表达式的离散时间版本：
$$ x_{k}=\overline{\boldsymbol{A}}x_{k-1}+\overline{\boldsymbol{B}}u_{k},\quad y_{k}=\overline{\boldsymbol{C}}x_{k}+\overline{\boldsymbol{D}}u_{k}, $$
其中$\overline{A}, \overline{B}, \overline{C}, \overline{D}$表示根据特定离散化步长对原始参数进行的转换。
## SSM的并行化
递归关系使得离散时间SSM的结构类似于RNN，此时$x_k \in \mathbb{R}^N$在时间步k处充当隐藏状态。更重要的是，由于递归具有线性结构，因此可以通过与固定核$y_1, \ldots, y_L$进行卷积来直接计算整个输出序列$\overline{\mathbf{K}} \in \mathbb{R}^L$：
$$ \begin{align*}\overline{{\boldsymbol{K}}}&=(\overline{{\boldsymbol{C}}}\overline{{\boldsymbol{B}}},\overline{{\boldsymbol{C}}}\overline{{\boldsymbol{A}}}\overline{{\boldsymbol{B}}},\ldots,\overline{{\boldsymbol{C}}}\overline{{\boldsymbol{A}}}^{L-1}\overline{{\boldsymbol{B}}}),\\y&=\overline{{\boldsymbol{K}}}*u.\end{align*} $$
训练完成后，核$\overline{K}$便成为SSM的综合表征，从而可将模型简化为具有较长核长度的一维卷积。
## 我们的方法
我们的HandMCM架构如图2所示。具体而言，HandMCM架构接收多模态输入，包括手部深度图像$\mathbf{D}_{in} \in \mathbb{R}^{H \times W}$和RGB图像$\mathbf{R}_{in} \in \mathbb{R}^{H \times W \times 3}$。它还会从$\mathbf{D}_{in}$中随机采样一组像素，并将其投影为3D点坐标$\mathbf{P} \in \mathbb{R}^{N \times 3}$，从而形成额外的3D感知信息。该架构输出的形式为3D关键点坐标$\mathbf{J} \in \mathbb{R}^{J \times 3}$。
最初，HandMCM会采样一个多模态超点集，该集合融合了输入的RGB图像和深度图像的特征，从而为后续处理阶段提供丰富的视觉信息，包括遮挡线索。从该超点集中提取关键点标记，并将其作为Mamba块的输入。我们提出的新型对应关系Mamba块通过利用关键点之间的内在运动学关系及其局部特征，迭代地优化这些关键点标记，从而实现关键点坐标的精确估计。
## 多模态超点编码器
由于输入点集是不规则且无序的，我们的HandMCM采用了点集卷积层（Qi等人，2017b；Liu、Qi和Guibas，2019）作为局部三维编码器。该层会提取出子采样的三维超点集$\mathbf{P}' \in \mathbb{R}^{N/2 \times 3}$以及对应的三维局部几何特征$\mathbf{F}_p \in \mathbb{R}^{N/2 \times C_p}$。
随后，深度图像和RGB图像分别由独立的基于ResNet的自编码器进行处理，从而得到二维局部视觉特征图$\mathbf{F}_d \in \mathbb{R}^{H/2 \times W/2 \times C_d}$和$\mathbf{F}_{rgb} \in \mathbb{R}^{H/2 \times W/2 \times C_{rgb}}$。这些二维局部视觉特征会经过二维到三维的投影与插值操作，生成三维点特征$\mathbf{F}_{d \to p} \in \mathbb{R}^{N/2 \times C_d}$和$\mathbf{F}_{rgb \to p} \in \mathbb{R}^{N/2 \times C_{rgb}}$。投影完成后，这些特征会与超点进行拼接，形成组合特征集$\mathbf{F} \in \mathbb{R}^{N/2 \times (C_p + C_d + C_{rgb})}$。最后，超点会被输入到关键点令牌提取模块中，该模块会为Mamba块生成初始的关键点令牌。
## 关键点令牌提取
在我们的HandMCM框架中，关键点令牌$\mathbf{X} \in \mathbb{R}^{J \times C}$的长度对应令牌数量J，令牌尺寸为C，它们构成了所提出的Mamba块内的处理起点。为了构建初始的关键点令牌，我们采用了HandFoldingNet（Cheng、Park和Ko，2021）最初引入的关节级嵌入方法。
关键点令牌初始化模块会对超点进行处理，通过两层点集卷积层结合其特征F来生成三维全局向量。随后，初始关键点令牌（嵌入）$\mathbf{X}_0$会依次经过三层偏置诱导层（BIL）（Cheng和Lee，2019）的处理。在此过程中，全局向量会被复制J次并输入到BIL层中，从而生成这J个独立关键点的嵌入。重要的是，BIL提供了逐关键点独立的偏置，其作用类似于可学习的位置嵌入，能够提升关键点表示的灵活性与准确性。获得关键点令牌后，会对其应用线性变换以……
---
Figure 2: The HandMCM architecture. HandMCM takes as input an RGB image, a 2D depth image. The multi-modal super point encoder utilizes a PointNet-based local 3D encoder and two 2D autoencoders to extract local 3D point features and local 2D features from the RGB and depth inputs, respectively. The encoder then aggregates these projected 2D features with the 3D features, forming multi-modal super point features. Keypoint tokens are derived from the super points and fed into the novel correspondence Mamba to accurately estimate 3D keypoint coordinates.
将高维令牌投影到三维空间中，作为局部特征采集的位置$J_{0}$。
## 对应关系Mamba
图2所示的对应关系Mamba是我们所提框架中的核心组成部分。它能够通过状态空间模型构建稳健的对应关系图，有效建模关键点的动态运动拓扑结构。
双向对应关系SSM：其基本架构遵循双向门控SSM（BiGS）（Wang等人，2022）。具体而言，设$\mathbf{X}_{i-1} \in \mathbb{R}^{J \times C}$为第k个Mamba块的关键点令牌。Mamba块首先对这些令牌进行转换，以构建双向输入$\mathbf{X}_f$和$\mathbf{X}_b$，即：
$$ \begin{aligned}&\widetilde{\mathbf{X}}=\mathrm{LN}(\mathbf{X}_{k-1}),\;\mathbf{V}=\mathrm{GELU}(\mathbf{W}_{v}\widetilde{\mathbf{X}}),\\&\mathbf{X}_{f}=\mathrm{GELU}(\mathbf{W}_{f}\widetilde{\mathbf{X}}),\;\mathbf{X}_{b}=\mathrm{GELU}(\mathbf{W}_{b}\mathrm{Reverse}(\widetilde{\mathbf{X}})),\\ \end{aligned} $$
其中，$\mathrm{LN}(\cdot)$、$\mathrm{GELU}(\cdot)$和$\mathrm{Reverse}(\cdot)$分别对应层归一化（Ba，2016）、高斯误差线性单元以及针对令牌长度维度的顺序翻转操作。$\mathbf{W}_{v}$、$\mathbf{W}_{f}$和$\mathbf{W}_{b}$则表示可学习的线性权重。
随后，双向输入$X_f$和$X_b$会被送入前后向SSM层的两个连续模块中，以建模关键点之间的对应关系：
$$ \mathbf{U}_{f}=\mathbf{W}_{u_{f}}\mathrm{S S M}(\mathbf{X}_{f}),\quad\mathbf{U}_{b}=\mathbf{W}_{u_{b}}\mathrm{S S M}(\mathbf{X}_{b}), $$
其中 $\mathbf{W}_{u_f}$ 和 $\mathbf{W}_{u_b}$ 是各个方向的可学习参数矩阵。基于关键点 $\mathbf{U}_f$ 与 $\mathbf{U}_b$ 之间的双向对应关系，我们显式构建了一个动态对应图，通过外积来融合每对关键点之间的相关性（He等人，2018年）：
$$ \mathbf{M}_{{c o r r}}=\mathbf{W}_{c}(\mathbf{U}_{f}\otimes\operatorname{R e v e r s e}(\mathbf{U}_{b})), $$
其中 $\mathbf{W}_{c}$ 是可训练的转换权重。如图2(c)所示，对应图中的每个元素都包含了前向和反向信息。最终，将相关图与转换后的词元 $\mathbf{V}$ 相乘，即可得到更新后的词元：
$$ \mathbf{X}_{k}=\mathbf{M}_{c o r r}\mathbf{V}. $$
在姿态回归中，会学习一个转换权重 $\mathbf{W}_r \in \mathbb{R}^{C \times 3}$，用于将更新后的高维词元转换为3D关键点坐标。
$$ \mathbf{J}_{k}=\mathbf{X}_{k}\mathbf{W}_{r}. $$
局部词元注入与过滤：尽管所提出的对应Mamba模型能够捕捉动态运动学特征，但由于忽略了关键点周围的局部几何信息，其性能仍不尽如人意。为解决这一问题，我们提出了一种独特的局部词元注入与过滤机制，为Mamba模块提供局部信息，并适当调整输出结果。
借鉴以往的研究（Cheng和Ko，2023年；Cheng等人，2024年），我们首先利用k近邻算法，将每个输入关键点 $\mathcal{N}_{\mathbf{j}_j}$ 附近的局部超点集 $\mathbf{j}_j \in \mathbf{J}_k$ 及其对应特征进行分组。随后，将每个特征 $\mathbf{f} \in \mathbf{F}$ 与其词元 $\mathbf{x}_j \in \mathbf{X}$ 以及局部坐标 $\mathbf{p} - \mathbf{j}_j$ 拼接起来。接着，通过点集卷积操作（Qi等人，2017a；Liu、Qi和Guibas，2019年）计算局部词元，从而聚合局部几何信息，具体过程如下：
$$ \mathbf{x}_{l o c,i}=\underset{(\mathbf{p},\mathbf{f})\in\mathcal{N}_{\mathbf{j}_{j}}}{\operatorname{S e t}}\operatorname{C o n v}([\mathbf{p}-\mathbf{j}_{j},\mathbf{x}_{j},\mathbf{f}]). $$
一旦准备好局部词元，我们就将其注入到Mamba模块中。为此，我们对公式(4)中的层归一化 $\mathrm{LN}(\cdot)$ 进行重新表述，即乘以局部词元：
---
再与输入相乘，具体形式如下。
$$ \widetilde{\mathbf{X}}=\operatorname{L N}(\mathbf{X}_{k-1}\odot\mathbf{X}_{l o c}). $$
在输出过滤阶段，首先从公式(7)中的局部点集拼接结果和更新后的词元中聚合局部几何信息。随后，通过对局部特征应用Sigmoid激活函数来计算滤波系数：
$$ \mathbf{G}=\sigma(\mathbf{X}_{l o c}). $$
最终，更新后的词元会与局部几何信息一同被过滤。因此，我们可以重新表述公式(8)，将最终的关键点坐标回归表示为更新后的对应词元与局部词元的加权和，公式如下：
$$ {\bf J}_{k}=\big(\mathbf{G}\odot\mathbf{X}_{k}+(1-\mathbf{G})\odot\mathbf{X}_{{l o c}}\big)\mathbf{W}_{r}, $$
其中 $W_{r}$ 就是公式(8)中相同的转换权重。
## 损失函数
由于关键点词元初始化和Mamba模块分别生成各自的估计坐标，所有输出均通过以下损失函数进行监督：
$$ \mathcal{L}=\sum_{k=0}^{K}\sum_{j=1}^{J}L1_{s m o o t h}(\mathbf{j}_{k,j}-\mathbf{j}_{j}^{*}), $$
其中 $\mathbf{j}_j^*$ 表示第j个关节的真实坐标，K表示堆叠的Mamba模块数量。正如以往的回归研究中所建议的那样（Ren等人，2019年；Cheng、Park和Ko，2021年），我们采用平滑 $L_1$ 函数，因为它比 $L_2$ 函数对异常值的敏感度更低。平滑 $L_1$ 函数的定义如下：
$$ L1_{smooth}(\mathbf{x})=\begin{cases}0.5|\mathbf{x}|,&\left|\mathbf{x}\right|<0.01\\|\mathbf{x}|-0.005,&\text{otherwise}\end{cases}. $$
## 实验
## 数据集与评估指标
NYU（Tompson等人，2014年）是一个用于单手姿态估计的数据集，它提供了使用PrimeSense 3D传感器从三个不同视角拍摄的单手深度图像。该数据集包含7.2万张训练帧和8千张测试帧。遵循以往的研究惯例（Ge、Ren和Yuan，2018年；Cheng、Park和Ko，2021年），评估时采用36个标注关节中的14个关键点以及单个视角的图像。这种策略与以往的研究保持一致，既能在各项研究间进行标准化比较，又能确保基准测试的可靠性。
DexYCB（Chao等人，2021年）是一个用于手部-物体交互的基准数据集，包含58.2万张标注了21个手部关键点的图像，这些图像来自八个摄像头视角。该数据集涉及10名受试者与20种标准化的YCB物体互动，包含四种评估协议：S0（已见受试者、视角和物体）、S1（未见受试者）、S2（未见视角）和S3（未见物体）。凭借这些协议和标准化的物体，DexYCB成为测试模型在各种现实场景中表现的可靠资源。
HO3D_v2（Hampali等人，2020年）是另一个用于手部-物体交互的基准数据集，包含6.6万张训练图像和1.1万张测试图像，涉及10名受试者和10种物体。该数据集提供了详细的手部3D姿态标注，测试结果需通过该数据集专用的在线提交系统进行评估。
评估指标。为了评估手部姿态估计模型的性能，我们采用了一种广泛采用的指标：平均关键点误差（MKE）。平均关键点误差衡量的是预测关键点位置与真实关键点位置之间的平均欧几里得距离，用以反映模型的精确度。
## 实现细节
我们使用PyTorch在NVIDIA 4090 GPU上实现该模型，并采用AdamW优化器（Loshchilov和Hutter，2017年）（$beta_1 = 0.5, beta_2 = 0.999$）进行训练，学习率设为0.001。输入的深度图像和RGB图像会被缩放至$128 \times 128$像素，输入点云则从原始深度数据中被下采样为1024个点。训练时批量大小设为32。在数据增强方面，我们应用-180到180度范围内的随机旋转、0.9到1.1范围内的3D缩放，以及-10到10毫米范围内的3D平移。此外，我们将超点数量设为256。我们在HO3D数据集上训练模型24个周期，第19个周期时开始调整学习率；在DexYCB数据集上训练20个周期，第15个周期时调整学习率；在NYU数据集上训练则持续40个周期，第30个周期时调整学习率。需要注意的是，由于NYU数据集的RGB数据质量较差，存在大量无法预测的空洞和伪影，因此我们在该数据集的训练和评估中不使用RGB数据。
## 与最先进方法的比较
NYU数据集。我们利用单手NYU数据集（Oberweger和Lepetit，2017年；Wan等人，2018年；Chen等人，2020年；Cheng、Kim和Ko，2024年；Du等人，2019年；Fang等人，2020年；Ren等人，2021b,a年；Ge等人，2017年；Chen等人，2018年；Ge等人，2018年；Ge、Ren和Yuan，2018年；Moon、Yong Chang和Mu Lee，2018年；Cheng、Park和Ko，2021年；Cheng和Ko，2023年；Ren等人，2023年；Liu等人，2024b年；Cheng、Kim和Ko，2024年），将我们的方法与各种最先进的技术进行比较。
我们在NYU数据集上通过平均关节误差指标得出的评估结果汇总于表1中。我们提出的HandMCM模型的平均关节误差仅为7.06毫米，这一结果表明其性能达到了最先进水平。此外，图3展示了HandMCM在NYU数据集上的定性结果，体现了其在存在遮挡的情况下仍能准确估计手部关键点的能力。
DexYCB数据集。我们在手部物体数据集DexYCB上评估了HandMCM的性能，并将其与几种现有的最先进方法（Xiong等人，2019年；Spurr等人，2020年；Lin、Wang和Liu，2021年；Tse等人，2022年；Park等人，2022年；Ren等人，2023年；Cheng、Kim和Ko，2024年；Liu等人，2024b；Cheng等人，2024年）进行比较，严格遵循官方的数据集划分协议。如表2所示，我们的方法在所有四种评估协议上的表现均优于最新的最先进技术。这些结果
---
Figure 3: Qualitative results of the HandMCM model on the NYU dataset. 3D points are colored in the figure to distinctly illustrate occlusions. The ground truth joint coordinates are displayed in black, the results of the previous state-of-the-art model, HandDAGT (Cheng, Kim, and Ko 2024), are shown in orange (top), the results of Hamba (Dong et al. 2024) are shown in blue (bottom), and the estimated joint coordinates produced by our model are depicted in red. Best view in color.
| Method | MKE (mm) | Input |
| DeepPrior++ (Oberweger et al. 2017) | 12.24 | Depth |
| Pose-Ren (Chen et al. 2020) | 11.81 | Depth |
| SHPR-Net (Chen et al. 2018) | 10.78 | Point |
| HandPointNet (Ge et al. 2018) | 10.54 | Point |
| DenseReg (Wan et al. 2018) | 10.20 | Depth |
| CrossInfoNet (Du et al. 2019) | 10.08 | Depth |
| Point-to-Point (Ge, Ren, and Yuan 2018) | 9.10 | Point |
| HandFolding (Cheng et al. 2021) | 8.58 | Point |
| V2V (Moon et al. 2018) | 8.42 | Voxel |
| Hamba $^{\dagger}$ (Dong et al. 2024) | 8.38 | Depth |
| JGR-P2O (Fang et al. 2020) | 8.29 | Depth |
| HandGCNFormer (Wang et al. 2023) | 7.43 | Point |
| SSRN (Ren et al. 2021b) | 7.37 | Depth |
| HandDiff (Cheng et al. 2024) | 7.38 | Depth |
| PHG (Ren et al. 2021a) | 7.39 | Depth |
| HandR2N2 (Cheng and Ko 2023) | 7.27 | Point |
| IPNet (Ren et al. 2023) | 7.17 | Depth |
| HandDAGT (Cheng, Kim, and Ko 2024) | 7.12 | Depth |
| HandMCM (Ours) | 7.06 | Depth |
Table 1: Comparison of the proposed method with previous state-of-the-art methods on the NYU datasets. Note, Voxels & Points are transformed and sampled from Depth.
凸显了HandMCM在处理遮挡问题上的卓越能力——在DexYCB数据集上，它的性能比其他模型高出11.5%。此外，图4中展示的定性结果表明：即使在存在各种遮挡的情况下，HandMCM也能有效估计手与物体的姿态。
HO3D数据集。此外，我们还在HO3D数据集上将该方法与领先方法（Li等人，2021年；Yang等人，2022年；Park等人，2022年；Malik等人，2021年；Ren等人，2023年；Cheng、Kim和Ko，2024年；Liu等人，2024b）进行了基准测试，最新结果见表3。我们提出的HandMCM的平均关键点误差仅为1.71厘米，其性能也超过了Hamba（Dong等人，2024年）。这些发现表明，我们的模型在存在动态遮挡的场景中具有极高的鲁棒性和准确性。
运行时间成本。在NVIDIA RTX 4090上测试时，我们的模型处理输入RGBD模态数据时，每帧平均运行时间为15.4毫秒，其中点采样耗时仅0.3毫秒。
| Method | Mean Keypoint Error (mm) | Input |
| S0 | S1 | S2 | S3 | AVG |
| A2J | 23.93 | 25.57 | 27.65 | 24.92 | 25.52 | Depth |
| Spurr et al. | 17.34 | 22.26 | 25.49 | 18.44 | 18.44 | RGB |
| METRO | 15.24 | - | - | - | - | RGB |
| Tse et al. | 16.05 | 21.22 | 27.01 | 17.93 | 20.55 | RGB |
| HandOccNet | 14.04 | - | - | - | - | RGB |
| IPNet | 8.03 | 9.01 | 8.60 | 7.80 | 8.36 | Depth |
| HandDiff | 7.66 | 8.73 | 8.40 | 7.53 | 8.07 | Depth |
| HandDAGT | 7.72 | 8.68 | 8.22 | 7.52 | 8.03 | Depth |
| K-Fusion | 6.94 | 8.64 | 7.56 | 7.02 | 7.54 | RGBD |
| HandMCM (Ours) | 6.27 | 7.86 | 6.20 | 6.30 | 6.67 | RGBD |
Table 2: Comparison of the proposed method with previous state-of-the-art methods on the DexYCB datasets.
| Method | MKE (cm) | Input |
| Hamba (Dong et al. 2024) | 54.56 | RGB |
| Hybrik (Li et al. 2021) | 2.89 | RGB |
| ArtiBoost (Yang et al. 2022) | 2.53 | RGB |
| HandOccNet (Park et al. 2022) | 2.49 | RGB |
| HandVoxNet++ (Malik et al. 2021) | 2.46 | Voxel |
| IPNet (Ren et al. 2023) | 1.81 | Depth |
| HandDAGT (Cheng, Kim, and Ko 2024) | 1.81 | Depth |
| K-Fusion (Liu et al. 2024b) | 1.79 | RGBD |
| HandMCM (Ours) | 1.71 | RGBD |
Table 3: Comparison of the proposed method with previous state-of-the-art methods on the HO3D datasets.
该模型在GPU上的运行速度比近期最先进的K-Fusion更快，后者在同一GPU上的运行时间需达到17.8毫秒。
## 消融研究
为了评估我们所提方法中各组件的有效性，我们对HandMCM的不同配置开展了额外的消融研究。这些实验主要使用NYU数据集进行。
不同所提组件的分析。我们开展了消融研究，以评估关键对应Mamba块中每个所提组件的影响，具体涉及SSM类型、局部特征注入以及局部特征过滤。研究结果总结如下
---
Figure 4: Qualitative results of HandMCM on the DexYCB datasets illustrating different object occlusions (left), view-angle-dependent occlusions (middle) and self-occlusions (right). Input 3D points and output keypoint coordinates are depicted within the same frame (third rows) and rotated at top-down view angles in order to clearly view occlusions from above as shown in the figure. Ground truth is shown in black and the estimated joint coordinates of our model are shown in colors. Best view in color.
| ID | Configurations | Mean Keypoint Error (mm) |
| SSM Type | Local Inject | Local Filter |
| 1) | ✗ | ✗ | ✗ | 8.47 |
| 2) | Transformer | ✗ | ✗ | 8.35 |
| 3) | Standard | ✗ | ✗ | 8.51 |
| 4) | Graph-guided | ✗ | ✗ | 8.38 |
| 5) | Correspondence | ✗ | ✗ | 8.15 |
| 6) | Correspondence | ✗ | ✓ | 7.24 |
| 7) | Correspondence | ✓ | ✗ | 7.22 |
| 8) | Standard | ✓ | ✓ | 7.27 |
| 9) | Correspondence | ✓ | ✓ | 7.06 |
Table 4: Ablations of different configurations of the transformer. All ablation models are trained and tested on NYU.
| # of Stacks | Mean Keypoint Error (mm) |
| 1 | 8.83 |
| 2 | 7.12 |
| 3 | 7.06 |
| 4 | 7.10 |
Table 5: Ablations of different depth of Mamba.
表4中。消融研究的具体配置如下：1）未包含对应Mamba块的基线模型；2）用Transformer替代Mamba；3）标准SSM（S）；4）Hamba（Dong等人，2024年）中提出的图引导型SSM；5）采用所提对应建模方法的新颖SSM；6）添加了过滤后局部特征的对应SSM；7）仅注入局部标记的对应SSM；8）在标准SSM上同时激活局部标记注入与过滤功能；9）包含所有所提组件。基线模型的平均关节误差为8.47毫米。采用标准SSM的消融实验（3）显示误差增至8.51毫米，而集成对应建模功能的新颖SSM（5）则使误差降低了0.3毫米。这一降幅凸显了新颖SSM的关键作用与有效性。同时，所提的对应块性能优于Hamba（Dong等人，2024年）中提出的图引导型SSM（4），这反映出SSM在对应建模方面的能力优于显式应用图结构的方式。此外，引入局部标记（6和7）后，误差大幅降至7.2毫米；将局部标记注入与过滤功能（9）结合Mamba后，误差进一步降至7.06毫米，这说明了有效的局部几何信息所起到的关键作用。
对Mamba深度的分析。从理论上讲，增加网络的深度可以提升性能，因为这样能让模型捕捉到更复杂的特征。为了探究这一点，我们逐步增加Mamba块的深度，旨在确定其最优配置。如表5所示，我们系统地调整堆叠深度，以评估其对模型性能的影响。结果表明，增加Mamba堆叠的深度通常能够提升性能。
不过，当堆叠层数超过三个时，性能提升效果反而变为负值，具体表现为3层堆叠的Mamba结构。因此我们得出结论：3层堆叠的配置对我们的模型而言是最优的，因为进一步增加Transformer堆叠的深度会产生负面效应。
## 结论
本文提出了HandMCM，这是一种基于Mamba的创新架构，专门用于精确的3D手部姿态重建。实验结果表明，我们提出的方法在三个具有挑战性的数据集上均显著优于以往的最先进方法。此外，大量实验验证了该框架中各个组件的有效性。尽管效果显著，但我们的HandMCM在处理双手交互场景时仍存在局限。未来的研究可以致力于扩展该模型以解决这一局限，并进一步提升其能力。
---
## 致谢
本研究/项目得到了新加坡国家研究基金会在其NRF-研究员计划下的资助（奖项编号：NRF-NRFI09-0008）。
## 参考文献
Ba, J. L. 2016. 层归一化。arXiv预印本arXiv:1607.06450。
Chao, Y.-W.; Yang, W.; Xiang, Y.; Molchanov, P.; Handa, A.; Tremblay, J.; Narang, Y. S.; Van Wyk, K.; Iqbal, U.; Birchfield, S.; 等. 2021. DexYCB：用于捕捉物体抓取情况的基准测试。载于IEEE/CVF计算机视觉与模式识别会议论文集，第9044–9053页。
Chen, X.; Wang, G.; Guo, H.; 和 Zhang, C. 2020. 用于级联式手部姿态估计的基于姿态引导的结构化区域集成网络。Neurocomputing，第395卷：138–149页。
Chen, X.; Wang, G.; Zhang, C.; Kim, T.-K.; 和 Ji, X. 2018. Shpr-net：从点云中进行深度语义手部姿态回归。IEEE Access，第6卷：43425–43439页。
Cheng, W.; Kim, E.; 和 Ko, J. H. 2024. HandDAGT：一种用于3D手部姿态估计的去噪自适应图Transformer。载于ECCV。
Cheng, W.; 和 Ko, J. H. 2023. HandR2N2：使用残差递归神经网络进行迭代式3D手部姿态估计。载于IEEE/CVF国际计算机视觉会议论文集，第20904–20913页。
Cheng, W.; 和 Lee, S. 2019. 点自动编码器及其在2D-3D转换中的应用。载于国际视觉计算研讨会论文集，第66–78页。Springer出版社。
Cheng, W.; Park, J. H.; 和 Ko, J. H. 2021. HandFoldingNet：一种利用多尺度特征引导的2D手部骨骼折叠的3D手部姿态估计网络。载于IEEE/CVF国际计算机视觉会议论文集，第11260–11269页。
Cheng, W.; Tang, H.; Van Gool, L.; 和 Ko, J. H. 2024. HandDiff：基于图像-点云的扩散模型3D手部姿态估计。载于IEEE/CVF计算机视觉与模式识别会议论文集，第2274–2284页。
董H.、Chharia A.、苟W.、Carrasco F. V.和De la Torre F. 2024年。Hamba：基于图引导双扫描Mamba的单视图3D手部重建。arXiv预印本arXiv:2407.09646。
杜K.、林X.、孙Y.和马X. 2019年。Crossinfonet：基于多任务信息共享的手部姿态估计。载于IEEE/CVF计算机视觉与模式识别会议论文集，第9896–9905页。
方L.、刘X.、刘L.、徐H.和康W. 2020年。JGR-P2O：用于从单张深度图像进行3D手部姿态估计的基于关节图推理的像素到偏移预测网络。载于欧洲计算机视觉会议论文集，第120–137页。Springer出版。
葛L.、蔡Y.、翁J.和袁J. 2018年。Hand PointNet：利用点集进行3D手部姿态估计。载于…
IEEE计算机视觉与模式识别会议论文集，第8417–8426页。
葛L.、梁H.、袁J.和Thalmann D. 2016年。单张深度图像中的鲁棒3D手部姿态估计：从单视图CNN到多视图CNN。载于IEEE计算机视觉与模式识别会议论文集，第3593–3601页。
葛L.、梁H.、袁J.和Thalmann D. 2017年。用于从单张深度图像高效且鲁棒地进行手部姿态估计的3D卷积神经网络。载于IEEE计算机视觉与模式识别会议论文集，第1991–2000页。
葛L.、任Z.和袁J. 2018年。用于3D手部姿态估计的点到点回归PointNet。载于欧洲计算机视觉会议（ECCV）论文集，第475–491页。
顾A.和Dao T. 2023年。Mamba：具有选择性状态空间的线性时间序列建模。arXiv预印本arXiv:2312.00752。
顾A.、Dao T.、Ermon S.、Rudra A.和Ré C. 2020年。Hippo：具有最优多项式投影的递归记忆。神经信息处理系统进展，第33卷：1474–1487页。
顾A.、Goel K.、Gupta A.和Ré C. 2022年。关于对角状态空间模型的参数化和初始化。神经信息处理系统进展，第35卷：35971–35983页。
顾A.、Johnson I.、Goel K.、Saab K.、Dao T.、Rudra A.和Ré C. 2021年。将递归模型、卷积模型和连续时间模型与线性状态空间层相结合。神经信息处理系统进展，第34卷：572–585页。
Hampali S.、Rad M.、Oberweger M.和Lepetit V. 2020年。Honnotate：一种用于手部及物体姿态的3D标注方法。载于IEEE/CVF计算机视觉与模式识别会议论文集，第3196–3206页。
何X.、杜X.、王X.、田F.、唐J.和Chua T.S. 2018年。基于外积的神经协同过滤。arXiv预印本arXiv:1808.03912。
卡尔曼R. E. 1960年。线性滤波与预测问题的新方法。
李J.、徐C.、陈Z.、卞S.、杨L.和卢C. 2021年。Hybrik：一种用于3D人体姿态与形状估计的混合解析-神经逆向运动学解决方案。载于IEEE/CVF计算机视觉与模式识别会议论文集，第3383–3393页。
李K.、李X.、王Y.、何Y.、王Y.、王L.和乔Y. 2025年。Videomamba：用于高效视频理解的状态空间模型。载于欧洲计算机视觉会议论文集，第237–255页。Springer出版。
李S.和Lee D. 2019年。基于残差置换等变层的点对姿态投票式手部姿态估计。载于IEEE计算机视觉与模式识别会议论文集，第11927–11936页。
梁D.、周X.、徐W.、朱X.、邹Z.、叶X.、谭X.和白X. 2024年。PointMamba：一种用于点云分析的简单状态空间模型。载于神经信息处理系统进展论文集。
---
林K.、王L.和刘Z. 2021年。基于Transformer的端到端人体姿态与网格重建。载于IEEE/CVF计算机视觉与模式识别会议论文集，第1954–1963页。
刘B.、Ramsundar B.、Kawthekar P.、石J.、Gomes J.、Luu Nguyen Q.、何S.、Sloane J.、Wender P.和Pande V. 2017年。基于神经序列到序列模型的逆合成反应预测。《ACS Central Science》第3卷第10期：1103–1113页。
刘J.、余R.、王Y.、郑Y.、邓T.、叶W.和王H. 2024a年。Point Mamba：一种基于八叉树排序策略、采用状态空间模型的新型点云骨干网络。arXiv预印本arXiv:2403.06467。
刘X.、齐C. R.和Guibas L. J. 2019年。FlowNet3D：在3D点云中学习场景流。载于IEEE/CVF计算机视觉与模式识别会议论文集，第529–537页。
刘X.、任P.、高Y.、王J.、孙H.、齐Q.、庄Z.和廖J. 2024b。基于RGB-D的3D手部姿态估计中的关键点融合技术。载于AAAI人工智能会议论文集，第38卷，第3756–3764页。
刘Y.、田Y.、赵Y.、余H.、谢L.、王Y.、叶Q.和刘Y. 2024c。VMamba：视觉状态空间模型。arXiv预印本arXiv:2401.10166。
洛什奇洛夫I.和胡特F. 2017年。解耦权重衰减正则化。arXiv预印本arXiv:1711.05101。
马利克J.、岛田S.、Elhayek A.、Ali S. A.、Theobalt C.、Golyanik V.和Stricker D. 2021年。HandVoxNet++：基于体素神经网络的3D手部形状与姿态估计。《IEEE模式分析与机器智能交易》第44卷第12期：8962–8974页。
文G.、Yong Chang J.和Mu Lee K. 2018年。V2V-PoseNet：从单张深度图精确估计3D手部及人体姿态的体素到体素预测网络。载于IEEE计算机视觉与模式识别会议论文集，第5079–5088页。
奥伯韦格M.和Lepetit V. 2017年。DeepPrior++：提升快速且精准的3D手部姿态估计性能。载于IEEE国际计算机视觉研讨会论文集，第585–594页。
朴J.、吴Y.、文G.、崔H.和李KM. 2022年。HandOccNet：抗遮挡的3D手部网格估计网络。载于IEEE/CVF计算机视觉与模式识别会议论文集，第1496–1505页。
齐C. R.、苏H.、莫K.和Guibas L. J. 2017a。PointNet：基于点集的3D分类与分割深度学习模型。载于IEEE计算机视觉与模式识别会议论文集，第652–660页。
齐C. R.、尹L.、苏H.和Guibas L. J. 2017b。PointNet++：度量空间中基于点集的深度层次特征学习。载于神经信息处理系统进展论文集，第5099–5108页。
任P.、陈Y.、郝J.、孙H.、齐Q.、王J.和廖J. 2023年。双头架构优于单头：用于基于深度的3D手部姿态估计的图像-点云网络。载于AAAI人工智能会议论文集，第37卷，第2163–2171页。
任鹏、孙浩、郝杰、齐强、王杰和廖佳，2021a。基于姿态引导的分层图推理：从单张深度图像进行三维手部姿态估计。《IEEE 控制论汇刊》。
任鹏、孙浩、黄伟、郝杰、程东、齐强、王杰和廖佳，2021b。用于实时三维手部姿态估计的空间感知堆叠回归网络。《神经计算》第437卷：42–57页。
任鹏、孙浩、齐强、王杰和黄伟，2019。SRN：用于实时三维手部姿态估计的堆叠回归网络。载于《英国机器视觉会议论文集》，第112页。
斯普尔、伊克巴尔、莫尔恰诺夫、希利格斯和考茨，2020。基于生物力学约束的弱监督三维手部姿态估计。载于《欧洲计算机视觉会议论文集》，第211–228页。施普林格出版社。
汤普森、斯坦因、勒昆和佩尔林，2014。使用卷积网络实现人体手部的实时连续姿态恢复。《ACM 图形学汇刊》第33卷第5期：1–10页。
谢天豪、金基一、莱昂纳迪斯和张宏杰，2022。基于注意力引导的图卷积的手部与物体重建协同学习。载于《IEEE/CVF 计算机视觉与模式识别会议论文集》，第1664–1674页。
万超、普罗布斯特、范古尔和姚艾伦，2018。用于手部姿态估计的密集三维回归。载于《IEEE 计算机视觉与模式识别会议论文集》，第5147–5156页。
王晨、特塞帕、马杰和王斌，2024。GraphMamba：利用选择性状态空间实现长距离图序列建模。arXiv预印本arXiv:2402.00789。
王杰、严建宁、顾安和拉什，2022。无需注意力的预训练。arXiv预印本arXiv:2212.10544。
王宇、陈磊、李杰和张晓，2023。HandGCN-Former：一种用于三维手部姿态估计的新型拓扑感知Transformer网络。载于《IEEE/CVF 应用计算机视觉冬季会议论文集》，第5675–5684页。
熊峰、张波、肖勇、曹哲、余涛、周建廷和袁军，2019。A2J：从单张深度图像进行三维关节姿态估计的锚点至关节回归网络。载于《IEEE/CVF 国际计算机视觉会议论文集》，第793–802页。
杨磊、李凯、詹翔、吕杰、徐伟、李杰和卢超，2022。ArtiBoost：通过在线探索与合成提升三维手-物姿态估计精度。载于《IEEE/CVF 计算机视觉与模式识别会议论文集》，第2750–2760页。
张泽、刘安、里德、哈特利、庄斌和唐浩，2024。Motion Mamba：高效的长序列运动生成方法。载于《欧洲计算机视觉会议论文集》，第265–282页。施普林格出版社。
朱磊、廖斌、张强、王晓、刘伟和王翔，2024。Vision Mamba：利用双向状态空间模型实现高效的视觉表征学习。载于《第41届国际机器学习会议论文集》，第62429–62442页。