# Hamba：基于图引导双向扫描的单视图3D手部重建Mamba 董浩烨 $^{*,\dagger}$ 阿维拉尔·查里亚 $^{*}$ 苟文博 $^{*}$ 弗朗西斯科·维森特·卡拉斯科 费尔南多·德拉托雷 卡内基梅隆大学 {haoyed, achharia, wgou, fvicente, ftorre}@andrew.cmu.edu ## 摘要 从单张RGB图像进行3D手部重建极具挑战性，原因在于手部的关节运动、自身遮挡以及与物体的交互作用。现有的最先进方法采用基于注意力的Transformer来学习3D手部姿态和形状，但它们未能充分实现鲁棒且精准的性能，主要原因是对关节间空间关系的建模效率低下。为解决这一问题，我们提出了一种新颖的图引导Mamba框架，命名为\textit{Hamba}，它融合了图学习与状态空间建模技术。我们的核心思路是将Mamba的扫描过程重构为图引导的双向扫描，仅需少量有效标记即可完成3D重建。这使我们能够高效学习关节间的空间关系，从而提升重建性能。具体而言，我们设计了图引导状态空间（GSS）模块，该模块可学习关节的图结构关系与空间序列，且使用的标记数量比基于注意力的方法少88.5%。此外，我们通过融合模块将状态空间特征与全局特征相结合。借助GSS模块和融合模块，Hamba能够有效利用图引导的状态空间特征，同时兼顾全局与局部特征以提升性能。在多个基准测试和真实场景测试中的实验表明，Hamba的性能显著优于现有最先进水平，在FreiHAND数据集上实现了5.3毫米的PA-MPVPE指标以及0.992的F@15mm指标。在本文被接收时，Hamba已在两个3D手部重建竞赛排行榜中位列第一，排名1 $^{1}$。 ## 1 引言 3D手部重建在机器人、动画、人机交互以及AR/VR等多个领域有着广泛应用 [^11] [^34] [^71] [^18] [^103]。然而，在无身体上下文或相机参数的情况下，从单张RGB图像重建3D手部仍是计算机视觉领域的一大难题。近期的研究主要探索Transformer [^14] [^19] [^51] [^52] [^70] [^95] [^73] [^45] [^55] 来解决这一任务，并通过利用注意力机制取得了最先进的性能。METRO [^51] 引入了多层Transformer，利用自注意力机制学习顶点-顶点及顶点-关节关系。MeshGraphormer [^52] 将图卷积与Transformer结合，进一步提升了重建性能。最近，HaMeR [^70] 设计了一种基于ViT的模型 [^19]，利用ViTPose [^95] 的权重和大型数据集来实现更好的性能。 然而，上述模型在存在遮挡、截断以及手与手或手与物体交互等挑战性的真实场景中，无法重建出鲁棒的网格模型（视觉效果见图5）。 --- ![Image](images/0c5d9de203b4aaabb275d98d004059e46d5345cbbad11f7347af84b09b333595.jpg)
Figure 1: In-the-wild visual results of Hamba. Hamba achieves significant performance in various in-the-wild scenarios, including hand interaction with objects or hands, different skin tones, different angles, challenging paintings, and vivid animations.
比较而言，这部分是由于对手指关节间的空间关系建模不够准确所致。其次，基于Transformer的方法[^19] [^51] [^52] [^70] [^95]需要大量标记来进行重建，而对所有图像标记应用注意力机制并不能有效建模关节的空间序列（即关节间的空间关系），这往往会导致在现实场景中生成的3D手模型不够精确。 为解决这些挑战，我们提出了Hamba——一种新型的基于Mamba的[^26]模型，它采用图学习[^44] [^104]和状态空间建模[^26]来实现稳健的3D手模型重建。Mamba是一种具有全局感受野能力的新颖状态空间建模方法。大多数基于Mamba的模型[^3] [^26] [^33] [^49] [^88] [^89] [^102]专为处理长序列数据而设计，很少有研究[^48] [^78]将Mamba应用于3D视觉任务。在这项工作中，我们探索了Mamba在3D手重建任务中的潜力。我们发现，直接应用Mamba进行3D手重建会产生不精确的模型，原因在于其单向扫描机制以及缺乏针对3D手重建的特定设计。为应对这一挑战，我们提出了图引导的双向扫描（GBS）机制，以有效捕捉关节间的语义和空间关系，如图2(c)所示。此外，Transformer的注意力机制需要计算所有标记间的相关性，这会引入不必要的背景相关性，而我们提出的GBS所使用的标记数量减少了88.5%（更多细节见第3.2节）。其次，尽管基于Mamba的模型[^3] [^26] [^33] [^49] [^88] [^102]在建模长序列方面表现优异，但它们并不擅长捕捉局部关系信息（在本研究中指手指关节间的“语义”）。由于图学习具备 --- ![Image](images/7515a16933a3cde812cee84335847d65fd48ae659fb27bcc9e5b62c02b332752.jpg)
(a) Attention
![Image](images/686baa80d6b01c2731b844045017340f819777fb75aeca79cc8d344f36f154b9.jpg)
(b) Bidirectional Scan
![Image](images/0bc63acf48acdf1b362483c44df134efafa5b34c03b9c6054fc1620387eeacf7.jpg)
(c) Graph-guided Bidirectional Scan (Ours)
Figure 2: Motivation. Visual comparisons of different scanning flows. (a) Attention methods compute the correlation across all patches leading to a very high number of tokens. (b) Bidirectional scans follow two paths, resulting in less complexity. (c) The proposed graph-guided bidirectional scan (GBS) achieves effective state space modeling leveraging graph learning with a few effective tokens (illustrated as scanning by two snakes: forward and backward scanning snakes).
有效捕捉节点关系的能力，我们将图卷积集成到状态空间建模中，通过考虑复杂的手关节关系来显著增强表征能力。 具体而言，为了充分利用状态空间建模（SSM）和图学习的能力来进行3D手重建，我们首先在关节回归器（JR）预测的手关节指导下精心设计了一个标记采样器（TS），然后将采样得到的标记输入到图引导的状态空间模块（GSS）中，该模块基于图引导的双向扫描（GBS）机制运行。最后，我们引入了一个融合模块，将状态空间标记与全局特征相结合，以进一步提升性能。如图1所示，Hamba在复杂场景下展现出了显著的视觉性能。我们的贡献总结如下： - 我们首次将图学习和状态空间建模（SSM）结合起来用于重建稳健的3D手模型。我们的核心思路是将Mamba的扫描方式重新设计为图引导的双向扫描，从而仅用少量高效标记就能实现3D重建。 - 我们提出了一种简单却有效的图引导状态空间（GSS）模块，利用图卷积层和Mamba模块来捕捉手关节间的结构化关系。 - 我们引入了能显著提升性能的标记采样器。同时还设计了融合模块，通过将状态空间标记与全局特征相结合来进一步改善性能。 • 在多个具有挑战性的基准测试上进行的大量实验表明，Hamba优于当前的最优方法，在真实场景下的表现十分出色。 ## 2 相关工作 3D手部重建。目前已提出多种重建3D手网格的方法[^2] [^41] [^62] [^66] [^67] [^77] [^80] [^83] [^85]，其中大多数研究都采用MANO[^75]参数化表示来描述3D手部。Zhang等人[^101]利用CNN编码器，在2D、3D、轮廓和几何约束下，基于热图迭代回归手网格。I2L-MeshNet[^63]提出了基于线像素的1D热图来估计关节位置并回归MANO参数，而HandAR[^81]则通过三个阶段来估计参数：关节阶段、网格阶段以及用于融合前述特征的细化阶段。关节阶段采用多任务解码器来预测手部关节和分割掩码。MeshGraphormer[^52]在Transformer中引入了图残差块以增强空间结构。HaMeR[^70]证明，一个简单但规模庞大的基于Transformer的架构在经过大型数据集训练后，能够取得最优性能。SimpleHand[^107]在高分辨率特征图上采样带有UV预测的标记，再与级联上采样解码器协同工作。他们进一步对比了不同的标记生成策略组合，包括全局特征、网格采样、关键点采样、4倍上采样特征图以及粗网格引导的点采样。最近，HHMR[^47]提出了一种图扩散模型来学习手势先验，并对被遮挡的手部区域进行修复。为了进一步提升性能，我们提出了图引导的状态空间模型，以充分利用关节关系并捕捉空间关节序列。 状态空间模型（SSM）。状态空间最初是在卡尔曼滤波中提出的[^39]，它用一阶微分方程来描述状态和转换。结构化状态空间序列（S4）模型[^27] [^28]具备建模依赖关系的能力。最近，Mamba[^26]进一步 --- 通过让固定投影矩阵随输入序列长度线性扩展，对S4模型进行了改进。许多近期的研究将Mamba应用于视觉学习领域，利用其全局感受野和动态权重特性。Liu等人[^57]和Yang等人[^108]将Mamba用于分类、分割和物体检测任务。为了有效捕捉空间关系，他们沿水平方向正向和反向扫描输入图像块。VMamba[^57]还增加了两个垂直方向，形成了交叉扫描。Zhang等人[^102]设计了一种用于运动生成的Mamba模型，沿时间序列单向扫描，同时沿通道维度双向扫描，形成层级结构。Behrouz等人[^3]和Wang等人[^89]设计了Graph-mamba来解决传统的图表示学习任务，利用Mamba模块增强长距离上下文学习能力。Hamba首次尝试将Mamba和图学习结合，以解决3D手部重建问题。 ## 3 所提出的方法 我们提出了一种基于Mamba的新方法，该方法结合了图学习和状态空间建模，以从关节空间序列中学习关节关系（见图3）。首先，我们介绍状态空间模型（SSM）的概念。接着，我们详细说明所提出的Token Sampler（TS）、Graph-guided双向扫描（GBS）以及Graph-guided状态空间（GSS）模块的原理。 ### 3.1 预备知识 S6模型。选择性扫描结构化状态空间序列（S6）模型[^26]是一类在序列处理方面表现出卓越能力的序列模型。这些模型主要是此前提出的S4模型的扩展[^27]，它们将输入序列$x(t) \in \mathbb{R} \to y(t) \in \mathbb{R}$通过隐状态$h(t) \in \mathbb{R}^N$进行映射，遵循普通的线性微分方程（公式1），其中$\boldsymbol{A} \in \mathbb{R}^{N \times N}$、$\boldsymbol{B} \in \mathbb{R}^{N \times 1}$、$\boldsymbol{C} \in \mathbb{R}^{1 \times N}$和$\boldsymbol{D} \in \mathbb{R}^1$为权重参数。 $$ \begin{array}{l l}{h^{\prime}(t)=\boldsymbol{A}h(t)+\boldsymbol{B}x(t),}&{\quad(1)\quad h_{t}=\overline{\boldsymbol{A}}h_{t-1}+\overline{\boldsymbol{B}}x_{t},}\\ {y(t)=\boldsymbol{C}h(t)+D x(t),}&{\quad y_{t}=\boldsymbol{C}h(t).}\end{array} $$ 为了实际计算，这些连续动态系统会被离散化（公式2）。这是通过使用零阶保持（ZOH）离散化规则来实现的（公式3）。 $$ \overline{\boldsymbol{A}}=\exp(\Delta\boldsymbol{A}),\quad\overline{\boldsymbol{B}}=(\Delta\boldsymbol{A})^{-1}(\exp(\Delta\boldsymbol{A})-\boldsymbol{I})\cdot\Delta\boldsymbol{B}, $$ 其中$\Delta$代表离散步长。由于权重参数和离散化规则随时间固定不变，因此S4模型可被视为线性时不变系统。Mamba[^26]进一步扩展了S4模型的投影矩阵，从而能够通过选择性扫描来遍历整个输入序列。 用于视觉表示的Mamba。由于Mamba[^26]主要为一维数据设计，因此直接将其应用于包含全局空间上下文和局部关系信息的图像数据颇具挑战性。近期的研究[^57] [^109]拓展了Mamba在视觉表示学习中的应用。VMamba[^57]开发了二维选择性扫描（SS2D）模块，并将其集成到VSS模块中（见图4(b)）。随后将VSS模块与卷积层依次堆叠，通过块合并[^58]来对图像块进行下采样。Mamba与VSS[^57]模块（见图4(a-b)）的主要区别在于用SS2D替换了S6模块，以适应图像数据的选择性扫描需求。 ### 3.2 Hamba 问题表述。给定单张手部图像I，我们的目标是重建三维手部网格。我们学习映射函数$f(I) = \{\theta, \beta, \pi\}$，该函数从图像I中回归出MANO[^75]参数，其中$\theta \in \mathbb{R}^{48}$、$\beta \in \mathbb{R}^{10}$和$\pi \in \mathbb{R}^3$分别代表姿态、形状和相机参数。最终，MANO模型$\mathcal{M}(\theta, \beta)$会生成对应的手部网格$M \in \mathbb{R}^{778 \times 3}$。 模型架构。图3展示了Hamba模型的架构。首先，我们将手部图像$I \in \mathbb{R}^{H \times W \times 3}$输入到ViT[^19] [^95]骨干网络中，以提取令牌$T \in \mathbb{R}^{\frac{H}{16} \times \frac{W}{16} \times 1280}$，其中$H=256$和$W=192$。骨干网络输出的令牌通过卷积层（Conv2D）从1280维下采样到512维。其次，我们使用Token Sampler（TS）对有效令牌进行采样，该模块利用关节回归器（Joints Regressor, JR）预测的二维关节位置。这些令牌被送入Graph-guided状态空间（GSS）模块，该模块通过所提出的Graph-guided双向扫描（GBS）来建模关节空间序列的状态空间。最后，我们通过融合模块将GSS令牌与全局平均特征、采样令牌以及二维关节特征进行融合。最后，使用多层感知机（MLP）回归出MANO参数。 --- ![Image](images/8d6f600a120178639420bc530fe6ddba4674b19bd18211dcb8fec0eeab76d81a.jpg)
Figure 3: Overview of Hamba's architecture. Given a hand image I, tokens are extracted via a trainable backbone model and downsampled. We design a graph-guided SSM as a decoder to regress hand parameters. The hand joints ( $J_{2D}$) are regressed by Joints Regressor (JR) and fed into the Token Sampler (TS) to sample tokens ( $T_{TS}$). The joint spatial sequence tokens ( $T_{GSS}$) are learned by the Graph-guided State Space (GSS) blocks. Inside each GSS block, the GCN network takes $T_{TS}$ as input and its output is concatenated with the mean down-sampled tokens. GSS leverages graph learning and state space modeling to capture the joint spatial relations to achieve robust 3D reconstruction.
令牌采样器（TS）与关节回归器（JR）。为防止GSS模块在训练初期受到背景及无关特征的影响，选取能够有效编码手部关节间关系的令牌至关重要。我们提出了一种令牌采样器（TS），它利用关节回归器（JR）输出的初始2D手部关节预测结果来挑选有效令牌。虽然可以使用OpenPose [^5]或MediaPipe [^60]这类现成的2D关节估计器，但这会增加模型复杂度。以往的研究[^74] [^107]主要采用Conv-Pooling-FC结构来实现初始关节回归。在我们的工作中，JR由堆叠的SS2D模块和后续的MLP头组成，用于回归初始的MANO参数$\{\hat{\theta}, \hat{\beta}, \hat{\pi}\}$。JR完成3D关节回归$\hat{J}_{\mathrm{3D}} \in \mathbb{R}^{21 \times 3}$后，会借助透视投影$\Pi$以及预测的相机平移量$\hat{\pi}$将其投影回2D图像平面，从而得到$\hat{J}_{\mathrm{2D}} \in \mathbb{R}^{21 \times 2}$。我们设定预设焦距为$F_{focal} = 5000$毫米。相关公式如下： $$ \hat{\theta},\hat{\beta},\hat{\pi}=\mathbf{J}\mathbf{R}(T),\quad\hat{J}_{{3D}}=\mathbf{M}\mathbf{A}\mathbf{N}\mathbf{O}\mathbf{\Lambda}(\hat{\theta},\hat{\beta}),\quad\hat{J}_{{2D}}=\Pi\mathbf{\Lambda}(\hat{J}_{{3D}},F_{\mathrm{f o c a l}},\hat{\pi}). $$ 为使采样的令牌与2D关节对齐，我们采用双线性插值法。采样令牌$T_{\mathrm{TS}} \in \mathbb{R}^{C \times J}$的公式如下： $$ T_{\mathrm{T S}}=\mathrm{T S}(\mathrm{C o n v2D}(T),\hat{J}_{\mathrm{2D}}), $$ 其中J表示关节总数，即21个；C为令牌维度，取值512。 图引导双向扫描（GBS）。为实现鲁棒的重建并充分利用有效令牌，我们将Mamba的单向扫描机制重新设计为图引导双向扫描，从而使其适用于3D重建任务。GBS的设计遵循特定的图模式，兼顾手部关节的空间与拓扑连接关系以及图像特征。一种简单的方法是扫描所有被令牌化的图像块（图2(b)），但这种方式会产生冗余令牌，难以有效学习关节间的空间关系。针对这一问题，我们提出了两项创新思路。首先，我们不对所有令牌进行单向扫描，而是对采样令牌进行手部关节级别的双向扫描$T_{TS}$，这样可将需扫描的令牌数量从192个减少至22个（$\approx$，降幅达88.5%）。我们采用了VMamba [^57]中的SS2D模块来实现适合关节空间序列的双向扫描。其次，为捕捉局部与全局的关节关系，我们引入了语义GCN模块[^105]。Mamba虽能学习长距离依赖关系，但在处理3D网格等复杂结构中的细粒度局部信息方面表现欠佳。 --- ![Image](images/6bdfda08dff542338bca5857e37d34c85f3c2b4873b9de3aaf5c97a82b69000d.jpg)
(a) Mamba Block
![Image](images/f8e895ba40557d4772e32f083bfaa5c11e9f124d1e0104c9f375f623e663cc84.jpg)
(b) VSS Block
![Image](images/0951788901647a4361f3ddc527f7ad80bc0f46804bc84d2a01aa895c06ae043c.jpg)
(c) GSS Block (Ours)
Figure 4: The illustration of the proposed Graph-guided State Space (GSS) block.
GCN通过学习输入独立的权重矩阵来建模手部关节间的关联，从而反映基于图结构先验的关节间相互影响关系。引入图学习机制后，便能在GSS模块中显式编码图结构。设$\mathcal{G} = \{\mathbf{V}, \mathbf{E}\}$为图，$\mathbf{V}$为包含J个节点的集合，$\mathbf{E}$为边集。$T_{GCN_t}$表示第l层GCN模块的输出，而GSS模块的完整输出则为$T_{GSS_t}$。在基于图的传播过程中，我们将令牌与一个可学习的参数矩阵$\mathbf{W} \in \mathbb{R}^{C \times C}$相乘。因此，GCN操作可表示为： $$ T_{\mathrm{G C N}_{l}}=\begin{cases}{\sigma(\mathbf{W}T_{\mathrm{T S}}\mathbf{P}_{i}(\mathbf{M}\odot\mathbf{G})),}&{l=1,}\\ {\sigma(\mathbf{W}T_{\mathrm{G S S}_{l-1}}^{\{1,\ldots,21\}}\mathbf{P}_{i}(\mathbf{M}\odot\mathbf{G})),}&{l>1,}\\ \end{cases} $$ 其中$\mathbf{M} \in \mathbb{R}^{J \times J}$为可学习的权重矩阵，$\mathbf{P}_i$表示用于对所有节点i的选择进行归一化的softmax非线性函数，$\mathbf{G} \in [0,1]^{J \times J}$为图$\mathcal{G}$的邻接矩阵，$\odot$表示逐元素乘法。J表示关节总数，即21个；C为令牌维度，取值512。 图引导的状态空间（GSS）模块。总体而言，我们的解码器由L个GSS模块组成。图4中对比展示了GSS架构。在第一个GSS模块中，采样得到的标记$T_{RS}$会经过图卷积（GCN）层处理。GCN层包含PGraphConv [^44]、批量归一化和ReLU激活函数。对于GCN而言，其邻接矩阵是基于MANO关节顺序中的手部关节骨架定义的。为了提供全局上下文信息，GCN的输出会与关节标记序列中的全局平均标记进行拼接。这个全局平均标记是下采样后的图像标记的平均值。拼接后的序列$T_{GCN_i}^c$随后会被送入SS2D模块，并通过残差连接与模块输出相加。SS2D模块之后是层归一化（LN）、前馈网络（FFN）以及另一个残差连接。对于后续的GSS模块$l \in \{2, ..., L\}$，其输入为前一个模块的输出$T_{GSS_{l-1}}$。在该序列进入GCN层之前，它会被拆分，仅有前21个标记$T_{GSS_{l-1}}^{\{1, ..., 21\}}$会被送入GCN。全局平均标记$T_{GSS_{l-1}}^{\{22\}}$会与GCN的输出拼接后再送入SS2D模块，如下面的公式7所示： $$ T_{\mathrm{GCN}_{l}}^{c}=\begin{cases}T_{\mathrm{GCN}_{l}}\oplus\mathrm{Mean}(\mathrm{Conv2D}(T)),&l=1,\\T_{\mathrm{GCN}_{l}}\oplus T_{\mathrm{GSS}_{l-1}}^{\{22\}},&l>1,\end{cases} $$ $$ T_{\mathrm{G S S}_{l}}=\mathrm{F F N}(\mathrm{L N}(\mathrm{S S2D}(T_{\mathrm{G C N}_{l}}^{c})+T_{\mathrm{G C N}_{l}}^{c}))+\mathrm{S S2D}(T_{\mathrm{G C N}_{l}}^{c})+T_{\mathrm{G C N}_{l}}^{c}. $$ 其中$\oplus$表示拼接操作。GSS模块不仅利用了状态空间建模和图学习提取的特征，还考虑了全局特征。这种设计使得Hamba能够利用少量标记，通过结合状态空间建模与图学习来学习有效的特征以提升性能，这一结论在我们4.2节的消融研究中得到了验证。 用于关节空间序列的状态空间建模。与基于视频的Mamba模型[^7] [^22] [^46]（它们通过帧序列学习时间特征）不同，Hamba专注于每帧的关节空间序列，研究结果表明，利用Mamba[^26]对关节关系进行建模能够显著…… --- 提升三维重建性能。具体而言，如公式1所示，$x(t)$代表关节空间序列中的第t个标记，它首先由TS利用JR采样得到，随后经GCN编码。需注意，t表示手部关节迭代的索引。最后，$y(t)$是经过GSS模块处理后的关节空间序列中第t个标记的更新值。所提出的GSS模块通过图学习与状态空间建模来捕捉关节空间序列关系，从而有效提升了三维重建性能。 损失函数。遵循[^70]的方法，我们使用组合损失函数来训练Hamba，该函数包括2D关节损失$\mathcal{L}_{2D}$、3D关节损失$\mathcal{L}_{3D}$、姿态损失$\mathcal{L}_{\theta}$、形状损失$\mathcal{L}_{\beta}$以及对抗性损失$\mathcal{L}_{\mathrm{adv}}$。$\mathcal{L}_{2D}$和$\mathcal{L}_{3D}$采用L1范数计算，而$\mathcal{L}_{\theta}$和$\mathcal{L}_{\beta}$则使用L2范数。训练损失$\mathcal{L}_{\mathrm{total}}$由公式9定义，其中$\lambda_{2D}$、$\lambda_{3D}$、$\lambda_{\theta}$、$\lambda_{\beta}$和$\lambda_{\mathrm{adv}}$分别表示各项的权重。 $$ \mathcal{L}_{\mathrm{t o t a l}}=\lambda_{\mathrm{2D}}\mathcal{L}_{\mathrm{2D}}+\lambda_{\mathrm{3D}}\mathcal{L}_{\mathrm{3D}}+\lambda_{\theta}\mathcal{L}_{\theta}+\lambda_{\beta}\mathcal{L}_{\beta}+\lambda_{\mathrm{a d v}}\mathcal{L}_{\mathrm{a d v}}, $$ ## 4 实验 数据集。我们在来自多个数据集的270万个训练样本上训练Hamba（为了公平比较，设置与[^70]相同），这些样本要么同时包含2D和3D手部标注，要么仅有2D标注。这些数据集包括FreiHAND [^111]、HO3D [^29]、MTC [^91]、RHD [^110]、InterHand2.6M [^64]、H2O3D [^29]、DexYCB [^6]、COCO-Wholebody [^36]、Halpe [^21]以及MPII NZSL [^79]。 实现细节。我们将学习率设为$10^{-5}$，权重衰减因子设为$10^{-4}$，采用“求和”损失函数。损失函数中各项的权重分别为：3D关键点损失对应$\lambda_{3D} = 0.05$，2D关键点损失对应$\lambda_{2D} = 0.01$，全局方向及手部姿态损失对应$\lambda_{\theta} = 0.001$。beta损失和对抗损失的权重——即$\lambda_{\beta}$和$\lambda_{adv}$——被设定为0.0005。由于计算资源限制，针对270万样本集的消融实验仅进行了6万步。更多细节详见附录A。 评估指标。遵循以往研究采用的相同协议[^52] [^70] [^107]，我们采用PA-MPJPE和$AUC_{J}$作为评估重建3D关节的指标，采用PA-MPVPE、$AUC_{V}$、F@5mm以及F@15mm作为评估重建3D网格顶点的指标。 ### 4.1 主要结果 3D关节与网格重建评估。我们在三个广泛使用的基准测试集上测试Hamba：FreiHAND [^111]、HO3Dv2 [^29]和HO3Dv3 [^30]。与最先进的3D手部重建模型的定量比较分别见表1、表2和表3。由于几乎所有先前的方法（包括常用的MobRecon [^9]、MeshGraphormer [^52]，以及近期的HHMR [^47]、SimpleHand [^107]）都仅使用FreiHAND [^111]数据集进行训练，为了公平比较，我们将它们与仅用FreiHAND [^111]数据集训练的Hamba版本进行对比。同时，为了与HaMeR [^70]进行公平比较，在所有其他对比中，我们都让Hamba在HaMeR [^70]所用的相同数据集上训练。包括常用的MeshGraphormer [^52]和METRO [^51]在内的许多方法，均采用测试时增强（TTA）来报告指标，这种方式能提升最终结果。我们分别报告了采用TTA和不采用TTA时的性能。在这两种情况下，Hamba均取得了显著更好的结果，在所有基准测试中均优于现有最先进模型。 真实场景下的泛化能力评估。以往用于训练模型的数据集中，约95% [^9] [^14] [^47] [^51] [^52] [^70] [^86] [^107] 是在受控的室内环境中采集的，比如摄影棚或多摄像头设置环境。这包括常用于训练和评估的FreiHAND [^111]、HO3Dv2 [^29]以及HO3Dv3 [^30]基准测试集。然而，在受控环境下采集的数据集上训练的模型，其在现实场景中的性能往往会下降。因此，仅通过室内采集的数据集来评估性能，可能无法准确反映3D手部重建模型的鲁棒性。我们进一步评估了Hamba在最近提出的HInt [^70]基准测试集上的真实场景表现，该数据集包含了视觉条件、视角和手部交互方面的变化。由于HInt-NewDays [^13]和HInt-EpicKitchensVISOR [^16] [^17]的标注为2D关键点，因此采用在不同阈值下计算的PCK [^97]作为评估指标。如表5所示，Hamba的性能大幅优于现有模型，甚至超过了HaMeR [^70]，显示出其在真实场景下的模型鲁棒性有所提升。所有模型（包括Hamba）均未在HInt数据集上训练过，也未曾见过该数据集中的数据。 定性比较。图5展示了Hamba与最先进模型在HInt-EpicKitchens的真实场景图像上的3D手部网格重建定性比较结果。这些模型既包括直接回归顶点的方法（METRO [^51]、MeshGraphormer [^52]），也包括回归MANO参数的参数化方法（FrankMocap [^76]、HaMeR [^70]）。这些图像尤其具有挑战性， --- ![Image](images/e476c16621d0f5d65201750b125c297c8774579450f2a4994842804e644d3acb.jpg)
Figure 5: Qualitative in-the-wild comparison of the proposed Hamba with SOTAs on HInt-EpicKitchensVISOR [^16] [^70]. None of the models (including Hamba) have been trained on HInt.
Table 1: Comparison with SOTAs on FreiHAND dataset [^111]. *Stacked Structure; †used Test-Time Augmentation (TTA). Best scores highlighted Green, while second best are highlighted Light Green. PA-MPJPE and PA-MPVPE are measured in mm. -: Info not reported by model.
MethodVenueBackbonePA-MPJPE $\downarrow$PA-MPVPE $\downarrow$F@5mm $\uparrow$F@15mm $\uparrow$
Zimmermann et al. [^111]ICCV 19ResNet50-10.70.5290.935
Boukhayma et al. [^4]CVPR 19ResNet50-13.00.4350.898
ObMan [^32]CVPR 19ResNet18-13.20.4360.908
MobileHand [^50]ICONIP 20MobileNet-13.10.4390.902
YoutubeHand [^43]CVPR 20ResNet508.48.60.6140.966
Pose2Mesh [^15]ECCV 20-7.77.80.6740.969
I2L-MeshNet [^63]ECCV 20ResNet50 $^{{*}}$7.47.60.6810.973
HIU-DMTL [^100]ICCV 21Custom $^{{*}}$7.17.30.6990.974
CMR [^10]CVPR 21ResNet50 $^{{*}}$6.97.00.7150.977
I2UV-HandNet [^8]ICCV 21ResNet506.76.90.7070.977
Tang et al. [^82]ICCV 21ResNet506.76.70.7240.981
METRO $^{\dagger}$ [^51]CVPR 21HRNet6.36.50.7310.984
MeshGraphormer $^{\dagger}$ [^52]ICCV 21HRNet5.96.00.7640.986
MobRecon [^9]CVPR 22ResNet50 $^{{*}}$5.75.80.7840.986
FastMETRO [^14]ECCV 22HRNet6.57.10.6870.983
FastViT [^86]ICCV 23FastViT6.66.70.7220.981
AMVUR [^35]CVPR 23ResNet506.26.10.7670.987
Deformer [^98]CVPR 23HRNet6.26.40.7430.984
PointHMR [^42]CVPR 23HRNet6.16.60.7200.984
Zhou et al. [^107]CVPR 24FastViT5.76.00.7720.986
HaMeR [^70]CVPR 24ViTPose6.05.70.7850.990
HaMeR-170k [^70]CVPR 24ViTPose6.15.80.7820.990
HHMR $^{\dagger}$ [^47]CVPR 24ResNet505.85.8--
HambaOursViTPose5.85.50.7980.991
Hamba $^{\dagger}$OursViTPose5.75.30.8060.992
因为它们来自现实世界的烹饪视频，视频中人物的手部高度遮挡，还存在手与手、手与物体的交互情况。为了进行视觉对比，我们选取了手部位于画面角落、导致截断现象从而进一步增加复杂度的图像。Hamba的性能始终优于其他模型，能够生成质量更好的重建结果。从图5可以看出，在严重的真实场景截断情况下，即便手部被截断或遮挡，Hamba仍能实现更好的手部重建效果。我们将这种性能归功于其利用状态空间模型有效学习了手部关节的空间序列。第4.2节中呈现的消融研究也验证了这一点。图S5展示了Hamba在各种电影、访谈等场景下的真实场景结果。图S6和图S7分别展示了Hamba在HInt-NewDays和HInt-EpicKitchensVISOR上的额外视觉结果。Hamba能够稳健地重建各种复杂手势下的3D手部，比如抓握、握住、攥紧、指物以及展平手势，无论观察角度如何，即便在严重遮挡和截断的情况下也能如此。 ---
Table 2: Comparison with SOTAs on HO3Dv2 [^29] hand-object interaction benchmark.
MethodVenuePA-MPJPE $\downarrow$PA-MPVPE $\downarrow$F@5mm $\uparrow$F@15mm $\uparrow$AUC $_J$ $\uparrow$AUC $_V$ $\uparrow$
ObMan [^32]CVPR 1911.011.20.4640.9390.7800.777
Pose2Mesh [^15]ECCV 2012.512.70.4410.9090.7540.749
I2L-MeshNet [^63]ECCV 2011.213.90.4090.9320.7750.722
Hampali et al. [^29]CVPR 2010.710.60.5060.9420.7880.790
S2Hand [^12]CVPR 2111.411.20.4500.9300.7730.777
METRO [^51]CVPR 2110.411.10.4840.9460.7920.779
Liu et al. [^56]CVPR 219.99.50.5280.9560.8030.810
I2UV-HandNet [^8]ICCV 219.910.10.5000.9430.8040.799
Tse et al. [^84]CVPR 22-10.90.4850.943--
ArtiBoost [^96]CVPR 2211.410.90.4880.9440.7730.782
KPT-Transf [^31]CVPR 2210.8---0.786-
MobRecon [^9]CVPR 229.29.40.5380.957--
HandOccNet [^68]CVPR 229.18.80.5640.9630.8190.819
HFL-Net [^54]CVPR 238.98.70.5750.965--
H2ONet [^94]CVPR 238.58.60.5700.9660.8290.828
AMVUR [^35]CVPR 238.38.20.6080.9650.8350.836
HOISDF [^72]CVPR 249.2-----
HandBooster [^93]CVPR 248.28.40.5850.9720.8360.832
HaMeR [^70]CVPR 247.77.90.6350.9800.8460.841
HaMeR-170k [^70]CVPR 247.67.90.6390.9810.8480.843
HambaOurs7.57.70.6480.9820.8500.846
Table 3: Evaluation on HO3Dv3 [^30] benchmark. We only list SOTAs that reported on HO3Dv3.
MethodVenuePA-MPJPE $\downarrow$PA-MPVPE $\downarrow$F@5mm $\uparrow$F@15mm $\uparrow$AUC $_J$ $\uparrow$AUC $_V$ $\uparrow$
S $^{2}$HAND [^12]CVPR 2111.511.10.4480.9320.7690.778
KPT-Transf. [^31]CVPR 2210.9---0.785-
ArtiBoost [^96]CVPR 2210.810.40.5070.9460.7850.792
Yu et al. [^99]BMVC 2210.810.4----
HandGCAT [^90]ICME 239.39.10.5520.9560.8140.818
AMVUR [^35]CVPR 238.78.30.5930.9640.8260.834
HMP [^20]WACV 2410.1-----
SPMHand [^59]TMM 248.88.60.5740.962--
HambaOurs6.96.80.6810.9820.8610.864
### 4.2 消融研究 分支特征的效果。我们通过从融合模块中排除各个分支的相应 tokens 来验证每个分支特征的有效性，如表 4 所示。首先，我们验证所提出的 GSS 分支的贡献。当排除 GSS tokens（第 3 行）时，我们观察到模型性能显著下降。具体而言，F@5mm（$\uparrow$）从 0.738 $\rightarrow$ 0.717 下降，PA-MPJPE（$\downarrow$）和 PA-MPVPE（$\downarrow$）误差分别从 6.6 $\rightarrow$ 6.9 和 6.3 $\rightarrow$ 6.6 上升。因此，除了局部和全局上下文之外，结合结构化状态空间表示对于 3D 手部重建是有效的。此外，值得注意的是，建模空间关节序列关系能够提供比直接使用 2D 关节位置更好的 tokens，尽管后者对于手部的所有关节具有清晰的语义含义。我们将此归因于存在遮挡的情况，此时 2D 关节无法被精确预测。 移除标记采样器（第1行）或2D关节（第2行）特征也会导致性能下降，但程度不及移除GSS分支明显，因为它们仅提供局部上下文，而GSS标记同时提供局部和空间关系信息。需要注意的是，全局均值标记（第4行）仍然重要，因为它能捕捉全局上下文，而这种上下文在消融实验中会被丢弃。 所提出组件的影响。由于GSS模块是主要创新点，我们还进一步评估了所提GSS模块中每个组件的有效性。
Table 4: Ablation study on FreiHAND [^111] to verify proposed components. All variants are trained for same number of steps. PA-MPJPE, PA-MPVPE and without are abbreviated as PJ, PV, 'w/o'.
AblationPJ $\downarrow$PV $\downarrow$F@5 $\uparrow$F@15 $\uparrow$
Branch-wise
1w/o Token_Sampler_Branch6.86.50.7220.987
2w/o 2D_Joints_Feature_Branch6.86.60.7180.986
3w/o GSS_Token_Branch6.96.60.7170.986
4w/o Global_Mean_Token_Branch7.37.20.6800.982
Component-wise
5w/o Token_Sampler6.86.60.7170.986
6w/o Bidirectional_Scan6.96.60.7180.986
7w/o GCN7.37.20.6730.983
8w/o Graph-guided_Bi_Scan7.37.10.6800.983
9w/o Mamba (SS2D+LN+FFN)7.37.20.6750.983
Hamba (Full)6.66.30.7380.988
---
Table 5: In-the-wild generalizability evaluation on HInt [^70]. PCK is used as the evaluation metric.
MethodVenueNewDaysVISOREgo4D
@0.05\uparrow@0.1\uparrow@0.15\uparrow@0.05\uparrow@0.1\uparrow@0.15\uparrow@0.05\uparrow@0.1\uparrow@0.15\uparrow
All JointsMETRO [^51]CVPR 2114.738.857.316.845.465.713.235.754.3
FrankMocap [^76]ICCVW 2116.141.460.216.845.666.213.136.955.8
MeshGraphormer [^52]ICCV 2116.842.059.717.145.567.414.638.256.0
HandOccNet (param) [^68]CVPR 229.128.447.88.127.749.37.726.547.7
HandOccNet (no param)CVPR 2213.739.159.312.438.761.810.935.158.9
HaMeR [^70]CVPR 2448.078.088.843.076.989.338.971.384.4
HaMeR-170k [^70]CVPR 2446.978.689.744.479.391.137.371.685.1
HambaOurs48.779.290.047.280.291.241.772.985.5
Visible JointsMETRO [^51]CVPR 2119.247.666.019.751.972.015.841.760.3
FrankMocap [^76]ICCVW 2120.149.267.620.452.371.616.343.262.0
Mesh Graphormer [^52]ICCV 2122.351.668.823.656.474.718.445.663.2
HandOccNet (param) [^68]CVPR 2210.231.451.28.527.949.87.326.148.0
HandOccNet (no param)CVPR 2215.743.464.013.139.963.211.236.260.3
HaMeR [^70]CVPR 2460.887.994.456.688.094.752.083.291.3
HaMeR-170k [^70]CVPR 2458.187.894.757.288.795.449.682.591.4
HambaOurs61.288.494.961.489.695.656.084.391.9
Occluded JointsMETRO [^51]CVPR 217.023.642.410.232.453.98.126.244.7
FrankMocap [^76]ICCVW 219.228.046.911.033.055.08.426.945.1
MeshGraphormer [^52]ICCV 217.925.744.310.933.354.18.326.944.6
HandOccNet (param) [^68]CVPR 227.223.542.47.426.146.78.026.145.7
HandOccNet (no param)CVPR 229.831.250.89.933.755.49.631.152.7
HaMeR [^70]CVPR 2427.260.878.925.960.880.723.056.976.3
HaMeR-170k [^70]CVPR 2428.962.480.529.465.783.924.658.777.7
HambaOurs28.262.881.129.966.684.325.259.277.6
表4中展示了相关评估结果。GSS模块通过图学习和状态空间建模来刻画手部关节的拓扑结构，学习关节间的图结构关系与空间序列。采用图学习还能提供局部上下文。若排除GCN，即仅使用Mamba模块，则输入到SS2D模块的的结构信息会被忽略，从而导致性能大幅下降（第7行）。这表明GCN是GSS模块的关键组成部分，仅靠SS2D模块无法实现精确的3D手网格重建。一种可能的反驳观点是：输入特征和GCN本身足以完成3D手部重建，Mamba模块并未带来显著改进。我们移除了Mamba模块后，GSS退化为简单的GCN，性能同样出现下降（第9行）。具体而言，PA-MPJPE（$\downarrow$）和PA-MPVPE（$\downarrow$）误差分别从$6.6 \rightarrow 7.3$和$6.3 \rightarrow 7.2$上升，而F@5mm（$\uparrow$）和F@15mm（$\uparrow$）则从$0.738 \rightarrow 0.675$和$0.988 \rightarrow 0.983$下降。这证实了GCN和Mamba模块在GSS模块中同等重要。为了验证双向扫描的有效性，我们将其替换为传统的单向扫描进行对比，记为w/o Bidirectional-scan（第6行），结果重建误差增大。当从模型中移除所提出的GBS扫描机制时，性能下降更为明显（第8行）。不使用标记采样器时，性能也会有所下降（第5行）。总体而言，表4验证了所提各组件的有效性。我们还通过定性评估（见图S3）进一步验证了这一点：移除所提模块后，视觉重建效果会变差。 ## 5 结论 我们提出了Hamba，一种基于Mamba的新型3D手部重建模型。该模型通过图学习和双向扫描下的状态空间建模，能够重建出鲁棒性强的3D手部网格。我们的核心思路是将Mamba扫描重新定义为利用少量有效令牌引导的图导向双向扫描。借此我们可以利用手部关节之间的关系以及关节空间序列，通过图学习和状态空间建模来解决遮挡与截断问题。具体而言，我们设计了一种新的GSS模块，利用图卷积层和Mamba模块来捕捉手部关节间的关联。最后，我们引入了一个实用的融合模块，通过结合状态空间特征与全局特征来提升性能。在具有挑战性的基准测试及真实场景测试中，实验结果表明Hamba的性能优于所有现有的SOTA模型。 局限性。尽管我们利用了图导向Mamba模型的强大表征能力，并在大型综合数据集上进行了训练，但这些仍可能不足以覆盖所有的真实场景。当前方法还无法提取视频中的时序特征，因为爬取视频数据集需要大量人工参与才能完成3D手部重建工作。 更广泛的影响。我们的研究聚焦于用于3D手部重建的Hamba模型，我们计划发布预训练模型和代码。不过，该模型存在被用于未经授权的监控或侵犯隐私的潜在风险。 --- ## 致谢 Aviral Chharia的部分研究工作得到了美国卡内基梅隆大学ATK-Nick G. Vlahakis研究生奖学金的支持。作者们感谢Bernhard Kerbl、Ce Zheng、Cheng Zhang、Yunlu Chen和Zhenyu Xie为改进本研究提出的建议与反馈。 ## 参考文献 [^1]: Mykhaylo Andriluka, Leonid Pishchulin, Peter Gehler, and Bernt Schiele. 2d human pose estimation: New benchmark and state of the art analysis. In Proceedings of the IEEE Conference on computer Vision and Pattern Recognition, pages 3686–3693, 2014. [^2]: Luca Ballan, Aparna Taneja, Jürgen Gall, Luc Van Gool, and Marc Pollefeys. Motion capture of hands in action using discriminative salient points. In Computer Vision–ECCV 2012: 12th European Conference on Computer Vision, Florence, Italy, October 7-13, 2012, Proceedings, Part VI 12, pages 640–653. Springer, 2012. [^3]: Ali Behrouz and Farnoosh Hashemi. Graph mamba: Towards learning on graphs with state space models. arXiv preprint arXiv:2402.08678, 2024. [^4]: Adnane Boukhayma, Rodrigo de Bem, and Philip HS Torr. 3d hand shape and pose from images in the wild. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 10843–10852, 2019. [^5]: Z. Cao, G. Hidalgo Martinez, T. Simon, S. Wei, and Y. A. Sheikh. Openpose: Realtime multi-person 2d pose estimation using part affinity fields. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2019. [^6]: Yu-Wei Chao, Wei Yang, Yu Xiang, Pavlo Molchanov, Ankur Handa, Jonathan Tremblay, Yashraj S Narang, Karl Van Wyk, Umar Iqbal, Stan Birchfield, et al. Dexycb: A benchmark for capturing hand grasping of objects. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 9044–9053, 2021. [^7]: Guo Chen, Yifei Huang, Jilan Xu, Baoqi Pei, Zhe Chen, Zhiqi Li, Jiahao Wang, Kunchang Li, Tong Lu, and Limin Wang. Video mamba suite: State space model as a versatile alternative for video understanding. arXiv preprint arXiv:2403.09626, 2024. [^8]: Ping Chen, Yujin Chen, Dong Yang, Fangyin Wu, Qin Li, Qingpei Xia, and Yong Tan. I2uv-handnet: Image-to-uv prediction network for accurate and high-fidelity 3d hand mesh modeling. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 12929–12938, 2021. [^9]: Xingyu Chen, Yufeng Liu, Yajiao Dong, Xiong Zhang, Chongyang Ma, Yanmin Xiong, Yuan Zhang, and Xiaoyan Guo. Mobrecon: Mobile-friendly hand mesh reconstruction from monocular image. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 20544–20554, 2022. [^10]: Xingyu Chen, Yufeng Liu, Chongyang Ma, Jianlong Chang, Huayan Wang, Tian Chen, Xiaoyan Guo, Pengfei Wan, and Wen Zheng. Camera-space hand mesh recovery via semantic aggregation and adaptive 2d-1d registration. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 13274–13283, 2021. [^11]: Xingyu Chen, Baoyuan Wang, and Heung-Yeung Shum. Hand avatar: Free-pose hand animation and rendering from monocular video. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 8683–8693, 2023. [^12]: Yujin Chen, Zhigang Tu, Di Kang, Linchao Bao, Ying Zhang, Xuefei Zhe, Ruizhi Chen, and Junsong Yuan. Model-based 3d hand reconstruction via self-supervised learning. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 10451–10460, 2021. [^13]: Tianyi Cheng, Dandan Shan, Ayda Hassen, Richard Higgins, and David Fouhey. Towards a richer 2d understanding of hands at scale. Advances in Neural Information Processing Systems, 36:30453–30465, 2023. ## [^14]: Junhyeong Cho, Kim Youwang, and Tae-Hyun Oh. Cross-attention of disentangled modalities for 3d human mesh recovery with transformers. In European Conference on Computer Vision (ECCV), 2022 --- [^15]: Hongsuk Choi, Gyeongsik Moon, and Kyoung Mu Lee. Pose2mesh: Graph convolutional network for 3d human pose and mesh recovery from a 2d human pose. In European Conference on Computer Vision, pages 769–787. Springer, 2020. [^16]: Dima Damen, Hazel Doughty, Giovanni Maria Farinella, Sanja Fidler, Antonino Furnari, Evangelos Kazakos, Davide Moltisanti, Jonathan Munro, Toby Perrett, Will Price, et al. Scaling egocentric vision: The epic-kitchens dataset. In Proceedings of the European conference on computer vision (ECCV), pages 720–736, 2018. [^17]: Ahmad Darkhalil, Dandan Shan, Bin Zhu, Jian Ma, Amlan Kar, Richard Higgins, Sanja Fidler, David Fouhey, and Dima Damen. Epic-kitchens visor benchmark: Video segmentations and object relations. In Proceedings of the Neural Information Processing Systems (NeurIPS) Track on Datasets and Benchmarks, 2022. [^18]: Haoye Dong, Tiange Xiang, Sravan Chittupalli, Jun Liu, and Dong Huang. Physical-space multi-body mesh detection achieved by local alignment and global dense learning. In Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision, pages 1267–1276, 2024. [^19]: Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner, Mostafa Dehghani, Matthias Minderer, Georg Heigold, Sylvain Gelly, et al. An image is worth 16x16 words: Transformers for image recognition at scale. 2020. [^20]: Enes Duran, Muhammed Kocabas, Vasileios Choutas, Zicong Fan, and Michael J Black. Hmp: Hand motion priors for pose and shape estimation from video. In Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision, pages 6353–6363, 2024. [^21]: Hao-Shu Fang, Jiefeng Li, Hongyang Tang, Chao Xu, Haoyi Zhu, Yuliang Xiu, Yong-Lu Li, and Cewu Lu. Alphapose: Whole-body regional multi-person pose estimation and tracking in real-time. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2022. [^22]: Yu Gao, Jiancheng Huang, Xiaopeng Sun, Zequn Jie, Yujie Zhong, and Lin Ma. Matten: Video generation with mamba-attention. arXiv preprint arXiv:2405.03025, 2024. [^23]: Shubham Goel, Georgios Pavlakos, Jathushan Rajasegaran, Angjoo Kanazawa, and Jitendra Malik. Humans in 4d: Reconstructing and tracking humans with transformers. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 14783–14794, 2023. [^24]: John C Gower. Generalized procrustes analysis. Psychometrika, 40:33–51, 1975. [^25]: Kristen Grauman, Andrew Westbury, Eugene Byrne, Zachary Chavis, Antonino Furnari, Rohit Girdhar, Jackson Hamburger, Hao Jiang, Miao Liu, Xingyu Liu, et al. Ego4d: Around the world in 3,000 hours of egocentric video. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 18995–19012, 2022. [^26]: Albert Gu and Tri Dao. Mamba: Linear-time sequence modeling with selective state spaces. 2023. [^27]: Albert Gu, Karan Goel, and Christopher Ré. Efficiently modeling long sequences with structured state spaces. 2021. [^28]: Albert Gu, Isys Johnson, Karan Goel, Khaled Saab, Tri Dao, Atri Rudra, and Christopher Ré. Combining recurrent, convolutional, and continuous-time models with linear state space layers. Advances in neural information processing systems, 34:572–585, 2021. [^29]: Shreyas Hampali, Mahdi Rad, Markus Oberweger, and Vincent Lepetit. Honnotate: A method for 3d annotation of hand and object poses. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 3196–3206, 2020. [^30]: Shreyas Hampali, Sayan Deb Sarkar, and Vincent Lepetit. Ho-3d_v3: Improving the accuracy of hand-object annotations of the ho-3d dataset. arXiv preprint arXiv:2107.00887, 2021. [^31]: Shreyas Hampali, Sayan Deb Sarkar, Mahdi Rad, and Vincent Lepetit. Keypoint transformer: Solving joint identification in challenging hands and object interactions for accurate 3d pose estimation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 11090–11100, 2022. ### [^32]: Yana Hasson, Gul Varol, Dimitrios Tzionas, Igor Kalevatykh, Michael J Black, Ivan Laptev, and Cordelia Schmid. Learning joint reconstruction of hands and manipulated objects. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 11807–11816, 2019 --- [^33]: Vincent Tao Hu, Stefan Andreas Baumann, Ming Gui, Olga Grebenkova, Pingchuan Ma, Johannes Fischer, and Björn Ommer. Zigma: A dit-style zigzag mamba diffusion model. arXiv preprint arXiv:2403.13802, 2024. [^34]: Rongtian Huo, Qing Gao, Jing Qi, and Zhaojie Ju. 3d human pose estimation in video for human-computer/robot interaction. In International Conference on Intelligent Robotics and Applications, pages 176–187. Springer, 2023. [^35]: Zheheng Jiang, Hossein Rahmani, Sue Black, and Bryan M Williams. A probabilistic attention model with occlusion-aware texture regression for 3d hand reconstruction from a single rgb image. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 758–767, 2023. [^36]: Sheng Jin, Lumin Xu, Jin Xu, Can Wang, Wentao Liu, Chen Qian, Wanli Ouyang, and Ping Luo. Whole-body human pose estimation in the wild. In Computer Vision–ECCV 2020: 16th European Conference, Glasgow, UK, August 23–28, 2020, Proceedings, Part IX 16, pages 196–214. Springer, 2020. [^37]: Sam Johnson and Mark Everingham. Learning effective human pose estimation from inaccurate annotation. In CVPR 2011, pages 1465–1472. IEEE, 2011. [^38]: Hanbyul Joo, Hao Liu, Lei Tan, Lin Gui, Bart Nabbe, Iain Matthews, Takeo Kanade, Shohei Nobuhara, and Yaser Sheikh. Panoptic studio: A massively multiview system for social motion capture. In The IEEE International Conference on Computer Vision (ICCV), 2015. [^39]: Rudolph Emil Kalman. A new approach to linear filtering and prediction problems. 1960. [^40]: Angjoo Kanazawa, Michael J Black, David W Jacobs, and Jitendra Malik. End-to-end recovery of human shape and pose. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 7122–7131, 2018. [^41]: Sameh Khamis, Jonathan Taylor, Jamie Shotton, Cem Keskin, Shahram Izadi, and Andrew Fitzgibbon. Learning an efficient model of hand shape variation from depth images. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 2540–2548, 2015. [^42]: Jeonghwan Kim, Mi-Gyeong Gwon, Hyunwoo Park, Hyukmin Kwon, Gi-Mun Um, and Wonjun Kim. Sampling is matter: Point-guided 3d human mesh reconstruction. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 12880–12889, 2023. [^43]: Dominik Kulon, Riza Alp Guler, Iasonas Kokkinos, Michael M Bronstein, and Stefanos Zafeiriou. Weakly-supervised mesh-convolutional hand reconstruction in the wild. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 4990–5000, 2020. [^44]: John Boaz Lee, Ryan A. Rossi, Xiangnan Kong, Sungchul Kim, Eunyee Koh, and Anup Rao. Higher-order graph convolutional networks. 2018. [^45]: Haoyuan Li, Haoye Dong, Hanchao Jia, Dong Huang, Michael C Kampffmeyer, Liang Lin, and Xiaodan Liang. Coordinate transformer: Achieving single-stage multi-person mesh recovery from videos. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 8744–8753, 2023. [^46]: Kunchang Li, Xinhao Li, Yi Wang, Yinan He, Yali Wang, Limin Wang, and Yu Qiao. Video-mamba: State space model for efficient video understanding. arXiv preprint arXiv:2403.06977, 2024. [^47]: Mengcheng Li, Hongwen Zhang, Yuxiang Zhang, Ruizhi Shao, Tao Yu, and Yebin Liu. Hhmr: Holistic hand mesh recovery by enhancing the multimodal controllability of graph diffusion models. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2024. [^48]: Dingkang Liang, Xin Zhou, Xinyu Wang, Xingkui Zhu, Wei Xu, Zhikang Zou, Xiaoqing Ye, and Xiang Bai. Pointmamba: A simple state space model for point cloud analysis. arXiv preprint arXiv:2402.10739, 2024. ### [^49]: Opher Lieber, Barak Lenz, Hofit Bata, Gal Cohen, Jhonathan Osin, Itay Dalmedigos, Erez Safahi, Shaked Meirom, Yonatan Belinkov, Shai Shalev-Shwartz, Omri Abend, Raz Alon, Tomer Asida, Amir Bergman, Roman Glozman, Michael Gokhman, Avashalom Manevich --- Nir Ratner、Noam Rozen、Erez Shwartz、Mor Zusman和Yoav Shoham. Jamba：一种混合Transformer-Mamba语言模型。arXiv预印本arXiv:2403.19887，2024年。 [^50]: Guan Ming Lim, Prayook Jatesiktat, and Wei Tech Ang. Mobilehand: Real-time 3d hand shape and pose estimation from color image. In International Conference on Neural Information Processing, pages 450–459. Springer, 2020. [^51]: Kevin Lin, Lijuan Wang, and Zicheng Liu. End-to-end human pose and mesh reconstruction with transformers. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 1954–1963, 2021. [^52]: Kevin Lin, Lijuan Wang, and Zicheng Liu. Mesh graphormer. In Proceedings of the IEEE/CVF international conference on computer vision, pages 12939–12948, 2021. [^53]: Tsung-Yi Lin, Michael Maire, Serge Belongie, James Hays, Pietro Perona, Deva Ramanan, Piotr Dollár, and C Lawrence Zitnick. Microsoft coco: Common objects in context. In Computer Vision–ECCV 2014: 13th European Conference, Zurich, Switzerland, September 6-12, 2014, Proceedings, Part V 13, pages 740–755. Springer, 2014. [^54]: Zhifeng Lin, Changxing Ding, Huan Yao, Zengsheng Kuang, and Shaoli Huang. Harmonious feature learning for interactive hand-object pose estimation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 12989–12998, 2023. [^55]: Hongyu Liu, Xintong Han, Chengbin Jin, Lihui Qian, Huawei Wei, Zhe Lin, Faqiang Wang, Haoye Dong, Yibing Song, Jia Xu, et al. Human motionformer: Transferring human motions with vision transformers. arXiv preprint arXiv:2302.11306, 2023. [^56]: Shaowei Liu, Hanwen Jiang, Jiarui Xu, Sifei Liu, and Xiaolong Wang. Semi-supervised 3d hand-object poses estimation with interactions in time. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 14687–14697, 2021. [^57]: Yue Liu, Yunjie Tian, Yuzhong Zhao, Hongtian Yu, Lingxi Xie, Yaowei Wang, Qixiang Ye, and Yunfan Liu. Vmamba: Visual state space model. 2024. [^58]: Ze Liu, Han Hu, Yutong Lin, Zhuliang Yao, Zhenda Xie, Yixuan Wei, Jia Ning, Yue Cao, Zheng Zhang, Li Dong, et al. Swin transformer v2: Scaling up capacity and resolution. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 12009–12019, 2022. [^59]: Haofan Lu, Shuiping Gou, and Ruimin Li. Spmhand: Segmentation-guided progressive multi-path 3d hand pose and shape estimation. IEEE Transactions on Multimedia, 2024. [^60]: Camillo Lugaresi, Jiuqiang Tang, Hadon Nash, Chris McClanahan, Esha Uboweja, Michael Hays, Fan Zhang, Chuo-Ling Chang, Ming Guang Yong, Juhyun Lee, et al. Mediapipe: A framework for building perception pipelines. 2019. [^61]: Rachel Locker McKee and David McKee. Making an online dictionary of new zealand sign language: projects. Lexikos, 23(1):500–531, 2013. [^62]: Stan Melax, Leonid Keselman, and Sterling Orsten. Dynamics based 3d skeletal hand tracking. In Proceedings of the ACM SIGGRAPH Symposium on Interactive 3D Graphics and Games, pages 184–184, 2013. [^63]: Gyeongsik Moon and Kyoung Mu Lee. I2l-meshnet: Image-to-lixel prediction network for accurate 3d human pose and mesh estimation from a single rgb image. In European Conference on Computer Vision, pages 752–768. Springer, 2020. [^64]: Gyeongsik Moon, Shoou-I Yu, He Wen, Takaaki Shiratori, and Kyoung Mu Lee. Interhand2.6m: A dataset and baseline for 3d interacting hand pose estimation from a single rgb image. In Computer Vision–ECCV 2020: 16th European Conference, Glasgow, UK, August 23–28, 2020, Proceedings, Part XX 16, pages 548–564. Springer, 2020. [^65]: Gyeongsik Moon, Shoou-I Yu, He Wen, Takaaki Shiratori, and Kyoung Mu Lee. Interhand2.6m: A dataset and baseline for 3d interacting hand pose estimation from a single rgb image. In European Conference on Computer Vision (ECCV), 2020. ### [^66]: Markus Oberweger, Paul Wohlhart, and Vincent Lepetit. Training a feedback loop for hand pose estimation. In Proceedings of the IEEE international conference on computer vision, pages 3316–3324, 2015 --- [^67]: Iason Oikonomidis, Nikolaos Kyriazis, Antonis A Argyros, et al. Efficient model-based 3d tracking of hand articulations using kinect. In BmVC, volume 1, page 3, 2011. [^68]: JoonKyu Park, Yeonguk Oh, Gyeongsik Moon, Hongsuk Choi, and Kyoung Mu Lee. Handocnet: Occlusion-robust 3d hand mesh estimation network. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 1496–1505, 2022. [^69]: Adrien Pavao, Isabelle Guyon, Anne-Catherine Letournel, Dinh-Tuan Tran, Xavier Baro, Hugo Jair Escalante, Sergio Escalera, Tyler Thomas, and Zhen Xu. Codalab competitions: An open source platform to organize scientific challenges. Journal of Machine Learning Research, 24(198):1–6. 2023. [^70]: Georgios Pavlakos, Dandan Shan, Ilija Radosavovic, Angjoo Kanazawa, David Fouhey, and Jitendra Malik. Reconstructing hands in 3D with transformers. In CVPR, 2024. [^71]: Siyou Pei, Alexander Chen, Jaewook Lee, and Yang Zhang. Hand interfaces: Using hands to imitate objects in ar/vr for expressive interactions. In Proceedings of the 2022 CHI conference on human factors in computing systems, pages 1–16, 2022. [^72]: Haozhe Qi, Chen Zhao, Mathieu Salzmann, and Alexander Mathis. Hoisdf: Constraining 3d hand-object pose estimation with global signed distance fields. arXiv preprint arXiv:2402.17062, 2024. [^73]: Lihui Qian, Xintong Han, Faqiang Wang, Hongyu Liu, Haoye Dong, Zhiwen Li, Huawei Wei, Zhe Lin, and Cheng-Bin Jin. Xformer: fast and accurate monocular 3d body capture. arXiv preprint arXiv:2305.11101, 2023. [^74]: Pengfei Ren, Chao Wen, Xiaozheng Zheng, Zhou Xue, Haifeng Sun, Qi Qi, Jingyu Wang, and Jianxin Liao. Decoupled iterative refinement framework for interacting hands reconstruction from a single rgb image. In Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), 2023. [^75]: Javier Romero, Dimitrios Tzionas, and Michael J. Black. Embodied hands: Modeling and capturing hands and bodies together. In ACM Transactions on Graphics, (Proc. SIGGRAPH Asia), 2017. [^76]: Yu Rong, Takaaki Shiratori, and Hanbyul Joo. Frankmocap: A monocular 3d whole-body pose estimation system via regression and integration. In IEEE International Conference on Computer Vision Workshops, 2021. [^77]: Tanner Schmidt, Richard A Newcombe, and Dieter Fox. Dart: Dense articulated real-time tracking. In Robotics: Science and systems, volume 2, pages 1–9. Berkeley, CA, 2014. [^78]: Qiuhong Shen, Xuanyu Yi, Zike Wu, Pan Zhou, Hanwang Zhang, Shuicheng Yan, and Xinchao Wang. Gamba: Marry gaussian splatting with mamba for single view 3d reconstruction. arXiv preprint arXiv:2403.18795, 2024. [^79]: Tomas Simon, Hanbyul Joo, Iain Matthews, and Yaser Sheikh. Hand keypoint detection in single images using multiview bootstrapping. In Proceedings of the IEEE conference on Computer Vision and Pattern Recognition, pages 1145–1153, 2017. [^80]: Srinath Sridhar, Antti Oulasvirta, and Christian Theobalt. Interactive markerless articulated hand motion tracking using rgb and depth data. In Proceedings of the IEEE international conference on computer vision, pages 2456–2463, 2013. [^81]: Xiao Tang, Tianyu Wang, and Chi-Wing Fu. Towards accurate alignment in real-time 3d hand-mesh reconstruction. In International Conference on Computer Vision (ICCV), pages 11698–11707, 2021. [^82]: Xiao Tang, Tianyu Wang, and Chi-Wing Fu. Towards accurate alignment in real-time 3d hand-mesh reconstruction. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 11698–11707, 2021. [^83]: Anastasia Tkach, Mark Pauly, and Andrea Tagliasacchi. Sphere-meshes for real-time hand modeling and tracking. ACM Transactions on Graphics (ToG), 35(6):1–11, 2016. ### [^84]: Tze Ho Elden Tse, Kwang In Kim, Ales Leonardis, and Hyung Jin Chang. Collaborative learning for hand and object reconstruction with attention-guided graph convolution. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 1664–1674, 2022 --- [^85]: Dimitrios Tzionas, Luca Ballan, Abhilash Srikantha, Pablo Aponte, Marc Pollefeys, and Juergen Gall. Capturing hands in action using discriminative salient points and physics simulation. International Journal of Computer Vision, 118:172–193, 2016. [^86]: Pavan Kumar Anasosalu Vasu, James Gabriel, Jeff Zhu, Oncel Tuzel, and Anurag Ranjan. Fastvit: A fast hybrid vision transformer using structural reparameterization. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 5785–5795, 2023. [^87]: Timo Von Marcard, Roberto Henschel, Michael J Black, Bodo Rosenhahn, and Gerard Pons-Moll. Recovering accurate 3d human pose in the wild using imus and a moving camera. In Proceedings of the European conference on computer vision (ECCV), pages 601–617, 2018. [^88]: Chloe Wang, Oleksii Tsepa, Jun Ma, and Bo Wang. Graph-mamba: Towards long-range graph sequence modeling with selective state spaces. arXiv preprint arXiv:2402.00789, 2024. [^89]: Chloe Wang, Oleksii Tsepa, Jun Ma, and Bo Wang. Graph-mamba: Towards long-range graph sequence modeling with selective state spaces. arXiv preprint arXiv:2402.00789, 2024. [^90]: Shuaibing Wang, Shunli Wang, Dingkang Yang, Mingcheng Li, Ziyun Qian, Liuzhen Su, and Lihua Zhang. Handgcat: Occlusion-robust 3d hand mesh reconstruction from monocular images. In 2023 IEEE International Conference on Multimedia and Expo (ICME), pages 2495–2500. IEEE, 2023. [^91]: Donglai Xiang, Hanbyul Joo, and Yaser Sheikh. Monocular total capture: Posing face, body, and hands in the wild. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 10965–10974, 2019. [^92]: Yu Xiang, Tanner Schmidt, Venkatraman Narayanan, and Dieter Fox. Posecnn: A convolutional neural network for 6d object pose estimation in cluttered scenes. arXiv preprint arXiv:1711.00199, 2017. [^93]: Hao Xu, Haipeng Li, Yinqiao Wang, Shuaicheng Liu, and Chi-Wing Fu. Handbooster: Boosting 3d hand-mesh reconstruction by conditional synthesis and sampling of hand-object interactions. arXiv preprint arXiv:2403.18575, 2024. [^94]: Hao Xu, Tianyu Wang, Xiao Tang, and Chi-Wing Fu. H2onet: Hand-occlusion-and-orientation-aware network for real-time 3d hand mesh reconstruction. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 17048–17058, 2023. [^95]: Yufei Xu, Jing Zhang, Qiming Zhang, and Dacheng Tao. Vitpose: Simple vision transformer baselines for human pose estimation. volume 35, pages 38571–38584, 2022. [^96]: Lixin Yang, Kailin Li, Xinyu Zhan, Jun Lv, Wenqiang Xu, Jiefeng Li, and Cewu Lu. Artiboost: Boosting articulated 3d hand-object pose estimation via online exploration and synthesis. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 2750–2760, 2022. [^97]: Yi Yang and Deva Ramanan. Articulated human detection with flexible mixtures of parts. IEEE transactions on pattern analysis and machine intelligence, 35(12):2878–2890, 2012. [^98]: Yusuke Yoshiyasu. Deformable mesh transformer for 3d human mesh recovery. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 17006–17015, 2023. [^99]: Ziwei Yu, Linlin Yang, You Xie, Ping Chen, and Angela Yao. Uv-based 3d hand-object reconstruction with grasp optimization. arXiv preprint arXiv:2211.13429, 2022. [^100]: Xiong Zhang, Hongsheng Huang, Jianchao Tan, Hongmin Xu, Cheng Yang, Guozhu Peng, Lei Wang, and Ji Liu. Hand image understanding via deep multi-task learning. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 11281–11292, 2021. [^101]: Xiong Zhang, Qiang Li, Hong Mo, Wenbo Zhang, and Wen Zheng. End-to-end hand mesh recovery from a monocular rgb image. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 2354–2364, 2019. ### [^102]: Zeyu Zhang, Akide Liu, Ian Reid, Richard Hartley, Bohan Zhuang, and Hao Tang. Motion mamba: Efficient and long sequence motion generation with hierarchical and bidirectional selective ssm. arXiv preprint arXiv:2403.07487, 2024 --- [^103]: Fuwei Zhao, Zhenyu Xie, Michael Kampffmeyer, Haoye Dong, Songfang Han, Tianxiang Zheng, Tao Zhang, and Xiaodan Liang. M3d-vton: A monocular-to-3d virtual try-on network. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 13239–13249, 2021. [^104]: Long Zhao, Xi Peng, Yu Tian, Mubbasir Kapadia, and Dimitris N. Metaxas. Semantic graph convolutional networks for 3d human pose regression. In IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pages 3425–3435, 2019. [^105]: Long Zhao, Xi Peng, Yu Tian, Mubbasir Kapadia, and Dimitris N Metaxas. Semantic graph convolutional networks for 3d human pose regression. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 3425–3435, 2019. [^106]: Weixi Zhao, Weiqiang Wang, and Yunjie Tian. Graformer: Graph-oriented transformer for 3d pose estimation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 20438–20447, 2022. [^107]: Zhishan Zhou, Zhi Lv, Minqiang Zou, Yao Tang, Jiajun Liang, et al. A simple baseline for efficient hand mesh reconstruction. arXiv preprint arXiv:2403.01813, 2024. [^108]: Lianghui Zhu, Bencheng Liao, Qian Zhang, Xinlong Wang, Wenyu Liu, and Xinggang Wang. Vision mamba: Efficient visual representation learning with bidirectional state space model. arXiv preprint arXiv:2401.09417, 2024. [^109]: Lianghui Zhu, Bencheng Liao, Qian Zhang, Xinlong Wang, Wenyu Liu, and Xinggang Wang. Vision mamba: Efficient visual representation learning with bidirectional state space model. arXiv preprint arXiv:2401.09417, 2024. [^110]: Christian Zimmermann and Thomas Brox. Learning to estimate on a nano pose from single RGB images. In Proceedings of the IEEE International Conference on Computer Vision, pages 4903–4911, 2017. ### [^111]: Christian Zimmermann, Duygu Ceylan, Jimei Yang, Bryan Russell, Max Argus, and Thomas Brox. Freihand: A dataset for markerless capture of hand pose and shape from single rgb images. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 813–822, 2019 --- ## 附录A 我们进一步详细阐述了额外的模型架构细节（第A.1节），以及其他训练细节A.2，包括损失函数权重、数据集描述、训练方案、测试时增强以及各种评估指标的定义。我们还给出了失败案例的可视化结果（第A.3节）。在第A.4节中，我们对消融实验、表5以及GSS模块的算法进行了详细说明。第A.5节包含了将我们提出的模型与基于注意力的模型进行比较的额外消融实验。最后，第A.6节展示了我们的GSS模块在3D人体网格恢复任务中的迁移能力。 ### A.1 模型架构细节 Hamba采用编码器-解码器结构，首先对输入的图像块进行标记化，随后将其送入解码器以预测3D手部重建结果。本节包含了复现我们的研究结果所需的各组件架构细节。为了更清晰地说明，我们还在图S1中标注了模型架构的特征维度。 ![Image](images/9aab74d6d113d00448a47322121c7121a1537b7d5d60f35161539ed096710180.jpg)
Figure S1: Illustration of model architecture feature dimensions for additional clarity.
主干网络。借鉴以往的研究工作[^70] [^86] [^107]，我们采用ViT-H [^19]作为编码器，它接收$I \in \mathbb{R}^{256 \times 192 \times 3}$作为输入，并将图像块分词以输出$T \in \mathbb{R}^{16 \times 12 \times 1280}$个标记。具体而言，该主干网络包含50层Transformer层，总共有6.3亿个参数。下采样层由二维卷积、批量归一化、ReLU激活函数以及另一层二维卷积组成。在第一次卷积操作中，通道维度从1280维降至512维，而在第二次卷积中则保持为512维。两次卷积的核大小均设为1。 关节回归器（JR）。JR的结构较为简单，仅包含四个VSSM（SS2D）模块，随后是3个线性层（MLP），用于预测每个MANO参数。这些VSSM模块的维度为512，深度为2，SSM状态维度为1，SSM比率为2，MLP比率为4，深度卷积的核大小为3（无偏置项）。门控机制已被弃用，JR接收所有$T \in \mathbb{R}^{16 \times 12 \times 1280}$个标记作为输入。VSSM模块的最终输出与输入具有相同的形状。随后对高度和宽度维度执行“均值”池化操作，再将结果送入线性层（MLP）以回归MANO参数$(\hat{\theta}, \hat{\beta}, \hat{\pi})$。 标记采样器（TS）。TS是通过PyTorch的pytorch.nn.Functional.grid_sample模块实现的。TS之后是一个一维卷积、批量归一化、ReLU激活函数，以及另一个一维卷积操作。为了更好地适配来自JR的浮点关节位置预测，采用了双线性插值作为采样模式。 图引导的状态空间（GSS）模块。GSS模块的结构较为简单。需要注意的是，GSS模块中的每个GCN层均由一次图卷积操作[^44]以及随后的处理组成。 --- 批量归一化与ReLU激活函数。对于GSS模块的其余组件，其维度均为512，深度为2，SSM状态维度为1，SSM比率为2，MLP比率为4，深度卷积的核大小为3（无偏置项）。门控机制已被弃用。在我们训练最优的模型中使用了4个GSS模块。 ### A.2 模型训练及其他细节 损失函数。如公式9所述，采用L1范数来计算3D关节损失和2D关节重投影损失。设$J_{2D}^{GT}$和$J_{3D}^{GT}$分别为2D和3D真实值（GT）关节位置，而$J_{2D}$和$J_{3D}$则为对应的模型预测结果。如果训练数据集还提供了GT MANO参数，即$\theta^{GT}$和$\beta^{GT}$，我们还会使用L2范数计算预测值$L_{\theta}, L_{\beta}$与GT值$(\theta, \beta)$之间的MANO参数损失（$(\theta^{GT}, \beta^{GT})$）。各项损失表达式如下： $$ \begin{array}{l l}{{\mathcal{L_{3D}}}=||J_{3\mathrm{D}}^{\mathrm{G T}}-J_{3\mathrm{D}}||_{1},}&{\quad(10)\quad}\\ {{\mathcal{L}_{2\mathrm{D}}}=||J_{2\mathrm{D}}^{\mathrm{G T}}-J_{2\mathrm{D}}||_{1},}&{\quad\mathcal{L}_{\beta}=||\beta^{\mathrm{G T}}-\beta||_{2},}\end{array} $$ 为防止模型预测出不自然的手部姿态，我们按照$D_k$ $(\theta, \beta)$ [^23]的描述，为[^40]及每个手部关节角度分别引入判别器[^70]，其表达式为：$\mathcal{L}_{adv} = \sum_k (D_k(\theta, \beta) - 1)^2$。各损失项的权重分别设为$\lambda_{3D} = 0.05$、$\lambda_{2D} = 0.01$、$\lambda_\theta = 0.001$、$\lambda_\beta = 0.0005$和$\lambda_{adv} = 0.0005$。 数据集。在本节中，我们简要介绍研究中使用的数据集。在训练阶段，我们使用了FreiHAND [^111]、HO3D [^29]、MTC [^91]、RHD [^110]、Interhand2.6M [^64]、H2O3D [^29]、DexYCB [^6]、COCO Wholebody [^36]、Halpe [^21]以及MPII NZSL [^79]等数据集的混合。最终数据集包含总计270万个训练样本。我们采用了与[^70]相同的数据集混合比例，其中FreiHAND和InterHand2.6M的采样权重为0.25，MTC和COCO Wholebody的采样权重为0.1，其余数据集的采样权重均为0.05。 - FreiHAND [^111]是一个大规模多视角手部数据集，包含3D手部标注，在3D手部重建研究中被广泛采用。其训练集包含由8台摄像机在绿幕工作室环境中采集的3.3万个样本，通过替换背景后样本总数达到13.2万个。评估集包含4000个样本，涵盖室内外真实场景。FreiHAND由Adobe Research和弗莱堡大学于2019年发布，仅限研究用途，不可用于商业目的。 • HO3Dv2 [^29]和HO3Dv3 [^31]数据集属于正在进行的3D手部重建国际竞赛的一部分。HO3Dv2和HO3Dv3均为无标记的手部-物体交互数据集，包含手部和物体的3D姿态信息，分别于2020年和2022年发布。数据集中的序列源自YCB数据集 [^92]，由单台或多台RGBD摄像机采集。目前该数据集有两个版本：v2和v3。v2版本包含约7万个训练图像和1万个测试图像，而v3版本则包含超过10.3万个训练图像和2万个测试图像。作者并未公开GT标注，结果只能通过Codalab [^69]竞赛网站进行测试。截至2024年5月，Hamba在两个数据集的排行榜上均取得了最佳性能。HO3D由格拉茨技术大学和法国国家科学研究中心发布，仅限研究用途，不可用于商业目的。 • HInt-EpicKitchensVISOR [^17] [^70]、HInt-NewDays [^70]以及HInt-Ego4D [^25]数据集包含4.04万个带有2D关键点的手部样本，于2024年发布。HInt代表“野外手部交互”，仅提供2D标签和可见性标签。HInt的三个子集分别基于Hands23 [^13]、Epic-Kitchens [^16]和Ego4D [^25]视频数据集构建。在我们的研究中，HInt不用于训练，而是作为评估Hamba跨数据集泛化能力的基准。该数据集仅限研究用途，不可用于商业目的。 除了上述讨论的数据集外，我们还介绍了Hamba训练集中使用的数据集的相关描述： - H2O3D [^31]于2022年首次发布。与HO3D类似，它在受控环境中采用五台RGBD摄像机的多视角设置，包含约6.1万个训练图像和9千个测试图像。与HO3D相比，其内容进一步扩展为两只手与不同物体的交互场景。 - DexYCB [^6]是在实验室环境中由8台RGBD摄像机采集的手部操作物体数据集。它包含582千个RGBD图像，涉及10名受试者抓取20种不同物体，每个序列时长3秒。该数据集提供了手部的2D和3D标注。 --- • MTC [^91]利用Panoptic Studio在不使用标记的情况下捕捉3D人体和手部姿态。该数据集记录了40名受试者2.5分钟内的数据，包含111K张手部图像及其3D姿态信息。每位受试者都进行了多种人体及手部动作。 • RHD [^110]提出了一个用于提升标注质量的合成数据集。该数据集采用了20个不同的3D角色来执行39种动作，总共包含约44k张图像。每张图像的分辨率为$320 \times 320$，且附带3D关节标注。为了增强数据集的泛化能力，渲染出的手部图像被放置在随机背景图上。 - InterHand2.6M [^65]是一个大规模的真实场景手部交互数据集。它包含260万张带标注的RGB图像，展示了单手或双手交互的场景。数据是在经过精确校准的多视角摄影棚中通过80多台摄像机采集的，并采用了半自动标注方法。该数据集涉及27名受试者，图像分辨率设置为$512 \times 334$。 - COCO Wholebody [^36]基于COCO数据集，标注了包括面部、手部、身体和脚部在内的133个全身关键点。它包含20万张自然场景下的RGB图像，共25万个实例，同时提供面部、手部和身体的边界框信息。在手部姿态估计任务中，约有10万个带有2D关键点标注的样本。 • Halpe [^21]是一个自然场景下的人体-物体交互全身体数据集。它包含5万张训练样本和5千张测试样本。图像标注了136个全身关键点。 • MPII NZSL[^79]是一个混合数据集，包含了自然场景、多视角摄影棚采集以及合成的RGB图像。图像涵盖了单手、双手交互及手-物体交互场景。该数据集包含1.1万张合成渲染样本、来自MPII [^1]和NZSL [^61]的2.8千张人工标注的自然场景图像，以及来自Panoptic Studio数据集的1.5万张多视角样本 [^38]。所有样本均带有2D关键点标注。 训练方案。Joints Regressor（JR）在单块NVIDIA A4500 GPU上训练，批量大小为8，共训练100万步。训练耗时5天，需要约300GB内存。完整的Hamba模型则在两块NVIDIA A6000 GPU上训练，批量大小为56，耗时两天。为防止过拟合，训练在17万步后采用提前停止策略。模型两部分的混合比例保持一致。训练时采用AdamW优化器，学习率分别为$1e^{-5}$、$\beta_1 = 0.9$、$\beta_2 = 0.999$，权重衰减系数为$1e^{-4}$。ViT主干网络初始化使用了HaMeR [^70]发布的预训练权重，且在训练期间保持不冻结状态。训练JR时采用了相同的设置。需要注意的是，为复现实验结果，建议直接从GitHub仓库加载已发布的Hamba权重。若要从零开始训练，建议使用相同的训练配置，因为PyTorch Lightning可能存在影响有效批量大小的错误。详情可参考GitHub上的issue $^{2}$。 测试时增强（TTA）。由于FreiHAND数据集最初是3D手部网格重建竞赛的一部分，许多流行模型都采用测试时增强（TTA）来报告其结果。为了与使用了TTA的模型进行公平比较，我们在表1中分别列出了在FreiHAND测试集上使用与不使用TTA的结果。根据[^52]的描述，我们让模型对同一测试图像进行推理，该图像会被多次缩放和旋转，最后将结果取平均值。这通常能带来性能提升。旋转角度的范围为$-90^\circ$到$90^\circ$，每次旋转间隔为$10^\circ$，缩放因子则分别为(0.7, 0.8, 0.9, 1.0, 1.1)。我们测试了所有组合并取误差的平均值以得到TTA结果。需要注意的是，无论是否使用TTA，我们都取得了最先进的结果。除非另有说明，本研究中报告的所有结果均为未使用TTA的情况。 评估指标。在此，我们将介绍本研究中所使用的评估指标的定义。 - PA-MPJPE即Procrustes对齐后的关节位置平均误差，它是在Procrustes对齐后测量的关节平均误差。其计算方法为预测关节与真实值之间的欧几里得距离。PA-MPJPE采用了Procrustes分析（PA）[^24]方法，该方法通过非刚性变换来对齐预测位置和真实位置，从而最小化两者间的整体距离。PA-MPJPE的单位为毫米（mm），在3D手部重建领域被广泛用作评估指标。 - PA-MPVPE即Procrustes对齐后的顶点位置平均误差，它与PA-MPJPE类似，但测量的是Procrustes对齐后网格顶点间的误差。其单位同样为毫米（mm）。 --- ![Image](images/4739a4125b97af584f46b2e11c8b231545a9ddb471e5856ca6d70e0c788b87b6.jpg)
(a) Wrong Palm Orientation
![Image](images/0482792fbadc0171d45f6b94964e1092bbb9fc5b0fc7b22e7b36a04056ab4ab8.jpg)
(b) Missed Finger due to Motion Blur
![Image](images/92b43104ec11b85408f9487803729eafcc1e145b12eaef514f104c547dccf9ae.jpg)
(c) Incorrect Palm orientation, alignment
![Image](images/f8aebb6cc07f03d2de6ab80473e43b99522c452a0db07402bbe3f564f3c36f4c.jpg)
(d) Wrong hand reconstruction
![Image](images/e4d30e07108e77e4d067c48910bd29af110b172f39dacc102e6cb5c6c3c384ba.jpg)
(e) Missed Finger reconstruction
Figure S2: Illustration of various failure cases of Hamba: Wrong palm orientation, missed frames due to motion blur, and missed finger reconstruction.
• F@5/F@15mm是在指定距离阈值下召回率与精确率的调和平均值。F@5和F@15分别表示阈值为5mm和15mm时的F分数。 - PCK代表正确关键点百分比。计算PCK时，首先用头部线段长度对预测关键点与真实关键点间的欧几里得距离进行归一化。若误差低于某一阈值，则该关键点被视为正确。通过改变阈值，我们可以绘制出随阈值升高而增大的PCK曲线。 - AUC表示曲线下面积。遵循以往的研究[^52]，我们指定了误差阈值在0mm到50mm之间时PCK曲线的AUC值。关节和网格顶点的AUC分别用$AUC_{J}$和$AUC_{V}$表示。 ### A.3 失败案例 图S2展示了Hamba在复杂的现实场景中遇到的各种失败案例。可以看出，大多数失败情况发生在模型无法稳健预测手掌方向时，如图S2(a, c)所示；或者当低帧率视频中存在运动模糊现象导致手指未被识别时，如图S2(b)所示。有时，模型无法判断手掌朝向，从而导致预测结果旋转180度。其他情况还包括检测器误判手部或遇到复杂手指姿态时的识别失败，如图S2(e)所示。 ## A.4 补充细节 GSS模块算法。为了更详细地描述所提出的图引导状态空间（GSS）模块，我们给出了该算法的处理步骤，如算法1所示。 表5的补充说明。由于HInt [^70] 为被遮挡的2D手部关键点提供了注释，我们分别针对以下情况报告实验结果：(i) 所有关节；(ii) 仅标注为可见的关节；以及(iii) 仅考虑表5中标注为被遮挡的关节。我们发现，可见关节的PCK值相对高于包含可见与遮挡关节在内的所有关节；而被遮挡关节的重建PCK值最低。需要注意的是，由于无法为自然场景图像标注3D真实姿态，HInt仅能提供2D关键点。因此，我们将3D手部网格重新投影到2D平面，并利用PCK来评估投影精度。 消融实验。本节详细解释了为消融实验所做的网络架构修改。下文讨论的消融结果展示在表4的第1至9行。前四项实验涉及分支层面的消融，其余五项则聚焦于组件层面的架构修改。设置分支层面实验有助于探究各分支的贡献，而组件层面的消融则能明确所提出组件带来的改进效果。 - 移除Token_Sampler_Branch。我们不再将TS分支生成的标记与其他标记在融合模块中拼接，但并未移除标记采样器。因此，来自TS的采样标记仍会输入到GSS模块中。 - 移除2D_Joints_Feature_Branch。我们移除了JR中的2D关节特征，该特征原本会在融合模块中与其他标记拼接。不过JR输出的关节信息仍可作为采样有效标记的强大局部上下文。 --- - 移除GSS_Token_Branch。为了评估GSS分支标记的贡献，我们将其从融合模块中移除。这有助于确定GSS模块标记的整体贡献。需要注意的是，建模关节空间关系所产生的标记效果优于直接使用2D关节位置；这一点从移除GSS标记后出现的性能下降幅度大于移除TS标记和2D关节特征时的下降幅度这一事实中可以得到证实。 • 移除Global_Mean_Token_Branch。我们从模型架构中移除全局平均标记分支，其生成的标记也不会纳入融合模块。需注意，我们并未移除全局平均标记，它仍会与GSS模块中GCN的输出拼接在一起。 • 移除Token_Sampler。我们直接排除TS组件。 - 移除双向扫描机制。为了验证双向扫描的有效性，我们将其替换为单向扫描。 • 移除GCN。我们移除GCN模块以验证其有效性。采样得到的标记会直接与全局平均标记拼接，然后输入到SS2D模块中。 • 移除图引导的双向扫描机制。我们打乱关节序列的顺序，以模拟无图引导的扫描过程。 • 移除Mamba（SS2D+LN+FFN）。为了评估Mamba模块（SS2D+LN+FFN）在GSS中的贡献，我们从所提出的GSS模块中移除Mamba模块。这包括SS2D、层归一化（LN）以及前馈网络（FFN）。此时GSS模块退化为简单的GCN模块。我们仍会将其与全局平均标记及GSS模块的输出拼接，并在输入下一个GSS模块前对其进行拆分。 ```pseudo // Algorithm 1: Graph-guided State Space (GSS) block Input: Feature Representation $T: (B, C, H, W)$ Output: Enhanced Representation $T_{GSS_L} : (B, C, J)$ 1: / Token Sample / 2: $T_{TS} : (B, C, J') \leftarrow TS(Conv2D(T), \hat{J}_{2D})$ 3: $m : (B, C, 1) \leftarrow Mean(T)$ 4: / A Set of GSS blocks / 5: $T_{GSS_L}^{\{1, ..., 21\}} \leftarrow T_{TS}$ when $l = 0$ 6: for l in [1 to L] do 7: / Graph Convolutions for Hand Joints / 8: $T_{GCN_L} : (B, J', C) \leftarrow GCN(T_{GSS_{L-1}}^{\{1, ..., 21\}})$ 9: $z' : (B, C, J) \leftarrow Concat(T_{GCN_L}, m)$ 10: / SS2D Block / 11: $z'' : (B, C, J) \leftarrow Linear(Norm(z'))$ 12: $z''' : (B, C, J) \leftarrow SiLU(DWConv(z'))$ 13: $z_{SS2D} : (B, C, J) \leftarrow SS2D(z'')$ 14: $z_{SS2D}' : (B, C, J) \leftarrow Linear(LayerNorm(z_{SS2D}))$ 15: / Residual Connection / 16: $y' : (B, C, J) \leftarrow Sum(z', z_{SS2D})$ 17: / FFN after Layer Normalization / 18: $y'' : (B, C, J) \leftarrow FFN(LayerNorm(y'))$ 19: / Residual Connection / 20: $T_{GSS_L} : (B, C, J) \leftarrow Sum(y', y'')$ 21: $T_{GSS_{L-1}}^{\{1, ..., 21\}}, m \leftarrow Split(T_{GSS_L})$ 22: end for 23: / Enhance feature representation / 24: $T_{GSS_L} : (B, C, J) \leftarrow Concat(T_{GSS_L}^{\{1, ..., 21\}}, m)$ 25: return $T_{GSS_L}$ ``` ### A.5 基于GCN+Transformer模型的消融研究 我们进行了额外的消融研究，以比较SS2D模块与基于注意力方法的效果。在图引导状态空间模块中，GCN + SS2D被替换为从Graformer借鉴来的GCN + 注意力机制[^106]。对比结果如表S1所示。两种模型均在相同的数据集设置下，于单张A6000 GPU上训练60K步，并在FreiHand数据集上评估[^111]。我们提出的GCN + SS2D模型在所有指标上均显示出提升。 --- ![Image](images/1978506a90d14e116ba55f4eb1778ed3c53191593ae21a8c3e61e7da50abefba.jpg)
(i) w/o GBS
(j) w/o Mamba
(k) Hamba (Full)
Figure S3: Qualitative Ablation Study on FreiHAND [^111]. Our full model achieves the best result compared with all the ablation variants.
与GCN + Transformer架构相比，这一结果证实了我们的图引导状态空间模型在学习手部关节关系方面具备更强的能力。
Table S1: Ablation study on the FreiHand dataset [^111] to verify the effectiveness of GCN + SS2D block comparing with GCN + attention mechanism. Here, ‘w’ denotes ‘with’.
MethodPA-MPJPE $\downarrow$PA-MPVPE $\downarrow$F@5mm $\uparrow$F@15mm $\uparrow$
w GCN + Attention7.06.60.7300.985
w GCN + SS2D (Ours)6.66.30.7380.988
与那些为3D手部重建使用大量令牌的基于Transformer的模型相比，我们提出的Hamba模型使用的令牌更少，具有“令牌高效性”。我们在表S2中给出了Hamba方法在推理时间、FLOPs和GPU内存占用方面的效率细节。这表明与基于GCN + Transformer的模型相比，我们的模型更轻量且速度更快。
Table S2: Comparison of Token Efficiency, Parameters, FLOPS, Runtime and GPU Memory.
MethodTokens $\downarrow$Parameters (M) $\downarrow$MFLOPs $\downarrow$Runtime (ms) $\downarrow$GPU $\downarrow$
BackboneJRDecoderAllDecoderBackboneJRDecoderMem. (MB)
w GCN + Transformer19263027.614978283018.79.021.920947
w GCN + SS2D (Ours)2263027.671.873364918.79.011.83413.2
88.5% $\downarrow$--51.8% $\downarrow$6% $\downarrow$21.8% $\downarrow$--46.1% $\downarrow$83.7% $\downarrow$
### A.6 迁移至3D人体网格恢复任务 为了测试GSS模块作为其他下游任务的即插即用模块的可迁移性，我们将Hamba适配到3D人体网格恢复（HMR）任务中。我们在与4D-humans相同的数据集混合条件下训练模型[^23]。如表S3所示，我们的模型取得了与4D-humans（HMR2.0b）相当的性能。Hamba在LSP-Extended[^37]和COCO数据集[^53]上表现出优势，在3DPW数据集[^87]上也取得了可比的结果，尽管它是在单张GPU上训练更少的步数。如果增加训练迭代次数，我们的模型性能有望进一步提升，就像在8张GPU环境下运行的HMR2.0b一样[^23]。这证实了我们所提出的模块能够作为解决类似或下游任务的即插即用组件。野外场景的可视化结果如图S4所示。
Table S3: Results comparison on the Human Mesh Recovery task on three Benchmark datasets.
MethodTraining SettingsLSP-ExtCOCO3DPW
@0.05 $\uparrow$@0.1 $\uparrow$@0.05 $\uparrow$@0.1 $\uparrow$MPJPE $\downarrow$PA-MPJPE $\downarrow$
HMR2.0b [^23]8 $\times$ A100s, 1M Steps0.5300.8200.8600.96081.354.3
Hamba (Ours)1 $\times$ A100, 300K Steps0.5390.8320.8560.96681.754.7
--- ![Image](images/fab7e179ebcd9e8babd7e92f0461f6d78e634d3cfa7c42d44bc70c58ebba031c.jpg)
Figure S4: Visual Results of Hamba for Full body Human Reconstruction
--- ![Image](images/7d433618752dee4e7617d93775cf21c2b7257c26a010b8399a4ba5aea151c960.jpg)
Figure S5: Additional in-the-wild visual results of Hamba. Hamba achieves significant performance in various in-the-wild scenarios, including truncations, hands interacting with objects or hands, different skin tones, viewpoints, angles, occlusion, and movie scenes.
--- ![Image](images/ae6b64b8a3857c275c063723095d9a1b9c2c488325bcfe4a3d568c06c0d4a84a.jpg)
Figure S6: Qualitative Results on HInt-NewDays [^13] [^70]. In-the-wild testing results of Hamba on the HInt-NewDays, which includes highly-occluded hands, hand-hand or hand-object interactions, and truncation scenarios. We did not use the HInt dataset to train Hamba.
--- ![Image](images/660c82932964f11e69a28a6cd2256f6d3ae17570ea795d65ed9133a54538f084.jpg)
Figure S7: Qualitative Results on HInt-EpicKitchensVISOR [^16] [^70]. In-the-wild testing results of Hamba on the HInt-EpicKitchensVISOR, which includes challenging cooking videos. We did not use the HInt dataset to train Hamba.
--- ## NeurIPS论文检查清单 ### 1. 主张 问题：摘要和引言中提出的主要主张是否准确反映了论文的贡献和范围？ 答案：[是] 理由：摘要和引言中的贡献部分通过9项消融研究广泛验证了这些主张，包括针对消融实验的可视化对比（见第4.2节），以及在4个常用基准数据集上的实验。 指南： - 若答案为“不适用”，则表示摘要和引言中未包含论文提出的主张。 - 摘要和/或引言应明确陈述所提出的主张，包括论文的贡献、重要假设和局限性。对此问题的回答若为“否”或“不适用”，将不会给审稿人留下好印象。 - 所提出的主张应与理论和实验结果相匹配，并反映出这些结果在其他场景下可推广的程度。 - 只要明确说明这些目标并非论文所实现，将愿景性目标作为动机也是可以的。 ### 2. 局限性 问题：论文是否讨论了作者所做工作的局限性？ 答案：[是] 理由：相关局限性已在第5节中讨论。尽管我们利用了图引导的Mamba模型强大的表征能力，并在大型综合数据集上进行了训练，但由于收集用于3D手部重建的视频数据集成本较高，我们的实验并未充分探索视频中的时间特征。 指南： - 若答案为“NA”，则表示论文不存在局限性；若答案为“No”，则表示论文存在局限性，但文中未予以讨论。 • 建议作者在论文中单独设立一个“局限性”章节。 - 论文应指出所有强假设，以及结果对这些假设的违背具有多大的鲁棒性（例如独立性假设、无噪声环境设定、模型设定合理、仅在特定局部范围内成立的渐近近似）。作者应反思这些假设在现实中可能被违背的情况及其带来的影响。 - 作者应反思所提出结论的适用范围，例如该方法是否仅在少数数据集上或经过少量运行测试。一般来说，实证结果往往依赖于隐含假设，这些假设应当被明确阐述。 - 作者应反思影响该方法性能的因素。例如，当图像分辨率较低或光线较暗时，面部识别算法的表现可能较差；语音转文字系统可能无法可靠地为在线课程提供字幕，因为它难以处理专业术语。 - 作者应讨论所提算法的计算效率，以及它们随数据集规模扩大时的扩展情况。 - 如适用，作者应讨论其方法在解决隐私和公平性问题时可能存在的局限性。 虽然作者可能担心完全坦诚地说明局限性会被审稿人用作拒稿的理由，但更糟糕的情况是审稿人发现论文中未提及的局限性。作者应凭最佳判断行事，并认识到为透明性做出的个人努力对于形成维护学术共同体诚信的规范至关重要。审稿人将被明确要求不得因作者如实说明局限性而予以惩罚。 ### 3. 理论假设与证明 问题：针对每一项理论成果，论文是否提供了完整的假设集以及完整（且正确）的证明？ --- ### 答案：[NA] 理由：我们没有提出理论性证明。此问题不适用于我们的研究。 指南： - 若答案为“NA”，则表示论文不包含理论性成果。 • 论文中的所有定理、公式和证明都应编号并相互引用。 • 所有假设都应在定理陈述中明确说明或引用。 - 证明可以出现在主论文中，也可以出现在补充材料中；但如果证明出现在补充材料中，建议作者提供简短的证明思路以帮助理解。 - 反之，若论文核心部分给出了非正式证明，则应在附录或补充材料中补充正式证明。 - 证明所依据的相关定理和引理应被妥善引用。 ### 4. 实验结果的可复现性 问：论文是否充分披露了复现论文主要实验结果所需的所有信息，且这些信息足以支撑论文的主要主张和/或结论（无论是否提供了代码和数据）？ 答：[是] 理由：我们在附录A.1节中详细描述了模型架构，训练方案则收录于A.2节。 指南： - 若答案为“不适用”，则表示论文未开展实验。 - 如果论文包含实验内容，给出“否”的答案将不会得到审稿人的认可：无论是否提供代码和数据，确保论文结果可复现都至关重要。 - 如果研究成果是数据集和/或模型，作者应说明为使结果可复现或可验证所采取的步骤。 • 根据研究成果的不同，实现可复现性的方式也多种多样。例如，如果成果是一种新型架构，完整描述该架构可能就足够了；如果成果是特定模型和实证评估，那么要么要让他人能够用相同的数据集复现该模型，要么提供对该模型的访问权限。一般来说，发布代码和数据通常是实现这一目标的良好途径，但也可以通过详细的复现说明、提供托管模型（比如大语言模型的情况）、发布模型检查点，或其他适合该研究的方式来实现可复现性。 - 虽然NeurIPS会议不要求发布代码，但会议要求所有投稿论文都能提供某种合理的可复现性途径，具体形式取决于研究成果的性质。例如： (a) 如果成果主要是新算法，论文应明确说明如何复现该算法。 (b) 如果成果主要是新模型架构，论文应清晰完整地描述该架构。 (c) 如果成果是新模型（比如大语言模型），那么要么要有途径让他人访问该模型以复现结果，要么要有复现模型的方法（比如使用开源数据集或提供构建数据集的说明）。 (d) 我们认识到在某些情况下实现可复现性可能较为棘手，此时作者可以说明他们为可复现性所采取的具体方式。对于闭源模型，可能对模型的访问存在一定限制（比如仅限注册用户），但应让其他研究人员有途径复现或验证结果。 ### 5. 数据和代码的开放获取 问：论文是否提供了对数据和代码的开放访问权限，并附有充分的说明，以便能如补充材料中所描述的那样忠实复现主要实验结果？ 答：[是] --- 理由：在NeurIPS审稿期间，我们的代码已包含在补充材料的.zip文件中。我们很快会在项目的Github仓库中开源代码，并附上详细的说明文档。 ### 指南 • 答案“NA”表示该论文未包含需要代码的实验。 • 更多详情请参阅NeurIPS代码和数据提交指南()。 • 虽然我们鼓励发布代码和数据，但我们理解这可能无法实现，因此回答“否”也是可接受的。除非代码是论文贡献的核心部分（例如用于新的开源基准测试），否则不能仅因未包含代码就拒收论文。 - 说明文档中应包含重现实验结果所需的确切命令和环境。更多详情请参阅NeurIPS代码和数据提交指南()。 - 作者应提供数据访问和准备的说明，包括如何获取原始数据、预处理后的数据、中间数据以及生成的数据等。 - 作者应提供脚本以重现所提出的新方法和基线方法的所有实验结果。如果只有部分实验可复现，他们应说明哪些实验未被纳入脚本以及原因。 - 为了保密，作者在提交时应发布匿名版本（如适用）。 • 建议在补充材料（附在论文后）中提供尽可能多的信息，同时允许包含数据和代码的URL。 ### 6. 实验设置/细节 问题：该论文是否说明了理解实验结果所需的所有训练和测试细节（例如数据划分、超参数、选取方式、优化器类型等）？ 答案：[是] 理由：实验设置，包括数据划分、超参数、优化器等，均包含在手稿的“实验”章节下的“实验设置”部分。额外的模型设置和训练细节则包含在附录的第A.1节和第A.2节中。 指南： • 答案“NA”表示论文未包含实验。 - 实验设置应在论文主体中详细说明，其详细程度需足以让人理解并领会实验结果的意义。 • 完整细节可以随代码一同提供、放在附录中，或作为补充材料提供。 ### 7. 实验统计显著性 问题：该论文是否恰当且正确地报告了误差范围，或提供了有关实验统计显著性的其他相关信息？ 答案：[否] 理由：我们在大型数据集上进行测试。其中一些数据集限制对测试集的访问，我们只能通过它们的网站竞赛进行评估，而网站不会报告每个样本的误差。这使得误差分析既不切实际也不可能进行。同一领域的前期研究也采用了相同的方法。 指南： • 答案“NA”表示论文未包含实验。 - 如果实验结果附有误差范围、置信区间或统计显著性检验，至少对于支撑论文主要结论的实验而言如此，那么作者应回答“是”。 - 应明确说明误差条所反映的变异因素（例如训练/测试划分、初始化方式、某些参数的随机选取，或给定实验条件下的整体运行）。 - 应解释误差条的计算方法（闭式公式、调用库函数、自助法等等）。 --- • 应说明所基于的假设（例如误差呈正态分布）。 - 应明确误差条代表的是标准差还是均值的标准误。 - 报告1σ误差条是可以的，但需予以说明。如果未验证误差的正态性假设，作者最好报告2σ误差条，而非声称其置信区间为96%。 - 对于非对称分布，作者需注意避免在表格或图表中展示对称的误差条，以免得出超出合理范围的结果（例如负的错误率）。 - 若表格或图表中报告了误差条，作者应在文中说明其计算方法，并在文中引用相应的图表。 ### 8. 实验计算资源 问题：对于每项实验，论文是否提供了足够的信息来说明重现实验所需的计算机资源（计算节点类型、内存、执行时间）？ 答案：[是] 理由：GPU类型、RAM、内存、计算节点及其他与计算相关的参数均已包含在补充材料章节A.2中。 指南： • 若答案为“不适用”，则表示论文未包含相关实验。 - 论文应说明计算节点的类型（CPU或GPU）、内部集群或云服务提供商，以及相关的内存和存储信息。 - 论文应给出每次单独实验所需的计算量，并估算总计算量。 论文应披露整个研究项目所需的计算资源是否超过了论文中报告的实验所用资源（例如那些未纳入论文的初步实验或失败实验）。 ### 9. 伦理准则 问题：论文中所开展的研究是否在各方面都符合NeurIPS伦理准则 ？ 答案：[是] 理由：论文中所开展的研究在各方面均符合NeurIPS伦理准则。 指南： • 若答案为“不适用”，则表示作者尚未查阅NeurIPS伦理准则。 - 若作者回答“否”，则应说明需要偏离伦理准则的特殊情况。 - 作者应确保保持匿名性（例如，若因其所在辖区的法律或法规而有特殊考虑）。 ### 10. 更广泛的影响 问题：论文是否讨论了所开展工作的潜在积极社会影响与消极社会影响？ 答案：[是] 理由：我们既说明了该项工作可能带来的积极社会影响，也提及了负面影响以及局限性。我们将发布预训练模型和源代码。这些资源可能被用于不正当的监控或侵犯隐私行为。 指导方针： - 若答案为“不适用”，则表示所开展的工作不会对社会产生任何影响。 - 如果作者回答“不适用”或“否”，他们应解释为何其工作没有社会影响，或者为何论文未涉及社会影响相关内容。 --- • 负面的社会影响示例包括潜在的恶意或无意使用（如传播虚假信息、生成虚假个人资料、实施监控）、公平性考量（如部署可能对特定群体造成不公平决策的技术）、隐私方面的考量以及安全方面的考量。 - 会议方预期许多论文属于基础研究，与特定应用场景甚至实际部署并无关联。不过，如果存在通往负面应用的直接途径，作者应当指出。例如，指出生成式模型质量的提升可被用于制造用于传播虚假信息的深度伪造内容，这是合理的。另一方面，无需指出用于优化神经网络的通用算法能够让人们更快速地训练出生成深度伪造内容的模型。 - 作者应考虑技术在按预期使用且运行正常时可能产生的危害、技术按预期使用但输出错误结果时可能产生的危害，以及因（有意或无意）滥用技术而引发的危害。 • 如果存在负面的社会影响，作者也可以探讨可能的缓解策略（如对模型进行分级发布、在攻击手段之外提供防御措施、建立滥用监测机制、设置监测机制以追踪系统随时间从反馈中学习的情况、提升机器学习模型的效率和可访问性）。 ### 11. 防护措施 问题：论文是否描述了为负责任地发布存在较高滥用风险的数据或模型而采取的防护措施？（此类数据或模型包括预训练语言模型、图像生成器或网络爬取的数据集。） 答案：[NA] 理由：我们仅使用了公开数据集，并遵守其使用条款。我们的研究中没有引入新数据。我们的模型不存在较高的滥用风险。 指导方针： - 若答案为“不适用”，则表示论文不存在此类风险。 • 存在较高滥用风险或具有双重用途的已发布模型，应配备必要的防护措施，以实现对模型使用的管控，例如要求用户遵守使用指南或限制条件才能访问模型，或者设置安全过滤机制。 从互联网爬取的数据集可能会带来安全风险。作者应说明他们是如何避免发布不安全的图像的。 • 我们承认制定有效的防护措施颇具挑战性，且许多论文无需涉及此内容，但我们鼓励作者予以重视并尽最大努力做好相关工作。 ### 12. 现有资产的许可 问题：论文中使用的资产（如代码、数据、模型）的创建者或原始所有者是否得到了恰当署名？相关许可证和使用条款是否明确提及并得到遵守？ 答案：[是] 理由：我们已对论文中使用的所有代码和数据集来源的相关论文予以致谢。数据集的许可证信息详见附录A.2节。 指南： - 若答案为“不适用”，则表示该论文未使用现有资产。 • 作者应引用生成该代码包或数据集的原始论文。 • 作者应说明所使用的资产版本，如有可能，应附上相应URL。 • 每种资产都应注明其许可证名称（如CC-BY 4.0）。 - 对于从特定来源（如网站）爬取的数据，应提供该来源的版权信息及服务条款。 - 若资产已被发布，则应提供该数据包中的许可证、版权信息及使用条款。对于常用数据集，paperswithcode.com/datasets网站已整理了一些数据集的许可证信息，其许可指南可帮助确定数据集的许可证类型。 - 对于重新打包的现有数据集，应同时提供原始许可证以及衍生资产的许可证（如有变更）。 --- - 如果网上无法获取这些信息，建议作者联系该资产的创建者。 ### 13. 新资产 问题：论文中引入的新资产是否有完善的文档说明？相关文档是否与资产一同提供？ 答案：[不适用] 理由：我们的论文并未发布新资产。 指南： - 若答案为“不适用”，则表示该论文未发布新资产。 • 研究人员应通过结构化模板在提交材料中说明数据集/代码/模型的详细信息，包括训练细节、许可证、局限性等。 - 论文应说明使用他人资产时是否以及如何获得相关人员的同意。 - 提交时请注意对资产进行匿名化处理（如适用）。您可以创建一个匿名URL，或附上匿名的压缩文件。 ### 14. 众包及涉及人类受试者的研究 问题：对于众包实验及涉及人类受试者的研究，论文是否包含了给参与者的完整指导文本、相关截图（如适用），以及补偿详情（如有）？ 答案：[不适用] 理由：我们的论文既不涉及众包，也不涉及涉及人类受试者的研究。 指南： - 若答案为“不适用”，则表示该论文既不涉及众包，也不涉及涉及人类受试者的研究。 • 虽然将这些信息包含在补充材料中是可行的，但如果论文的主要贡献涉及人类受试者，则应在主论文中包含尽可能多的细节。 • 根据NeurIPS伦理准则，参与数据收集、整理或其他工作的人员应至少获得数据收集所在国的最低工资。 ### 15. 涉及人类受试者的研究的机构审查委员会（IRB）批准或同等审批 问：论文是否说明了研究参与者可能面临的风险、这些风险是否已告知受试者，以及是否获得了机构审查委员会（IRB）的批准（或符合您所在国家或机构要求的同等审批/审查）？ 答：[NA] 理由：我们的研究不涉及收集包含人类受试者的新数据集。 指南： - 答案“NA”意味着论文既不涉及众包，也不涉及人类受试者研究。 • 根据研究开展所在国的不同，任何涉及人类受试者的研究都可能需要获得IRB批准（或同等审批）。如果您获得了IRB批准，应在论文中明确说明。 • 我们认识到不同机构和地区的相关流程可能存在显著差异，期望作者能遵守NeurIPS伦理准则以及所在机构的指南。 - 初次提交时，请勿包含任何会破坏匿名性的信息（如适用），例如负责审查的机构名称。