# HandOS：单阶段3D手部重建
陈星宇 $^{1*}$ 宋竹恒 $^{3*}$ 蒋晓可 $^{2}$ 胡耀卿 $^{1}$ 于俊志 $^{1\boxtimes}$ 张雷 $^{2\boxtimes}$
$^{1}$ 北京大学工学院先进制造与机器人系
$^{2}$ 国际数字经济研究院（IDEA研究院）
$^{3}$ 中国科学院大学
idea-research.github.io/HandOSweb
Figure 1. We present HandOS, a one-stage approach for hand reconstruction that substantially streamlines the paradigm. Additionally, we demonstrate that HandOS effectively adapts to diverse complex scenarios, making it highly applicable to real-world applications.
## 摘要
现有的手部重建方法主要采用多阶段框架，包括检测、左右手分类以及姿态估计。这种范式会导致冗余计算与累积误差。在本研究中，我们提出了HandOS——一种用于3D手部重建的端到端框架。我们的核心思路是以预训练好的检测器为基础，同时引入用于2D和3D关键点估计的辅助模块。通过这种方式，我们将姿态估计能力集成到检测框架中，同时无需将左右手类别作为前置条件。具体而言，我们提出了一种交互式2D-3D解码器：其中2D关节语义源自检测线索，而3D表示则基于2D关节信息生成。
此外，我们设计了分层注意力机制，以实现对2D关节、3D顶点以及相机平移量的同步建模。最终，我们在单阶段框架内实现了手部检测、2D姿态估计与3D网格重建的端到端整合，从而克服了上述多阶段的弊端。同时，HandOS在公开基准测试上取得了顶尖性能：例如在FreiHand数据集上的PA-MPJPE值达到5.0，在HInt-Ego4D数据集上的PCK@0.05值达到64.6%。
### 1. 引言
人类的智力优势体现在其能够利用双手进行创造、塑造以及与世界互动的能力。在计算机科学与人工智能时代，手部理解在现实技术 [^24] [^57]、行为理解 [^30] [^46]、交互建模 [^15] [^69]、具身智能 [^11] [^61] 等领域具有至关重要的意义。
---
尽管手部网格恢复已经研究多年，但相关流程仍局限于多阶段范式 [^2] [^7] [^8] [^14] [^36] [^49]，包括检测、左右手识别以及姿态估计。这种多阶段设计背后有两个原因：首先，手部在图像中通常只占有限的分辨率，要从整幅图像中提取手部姿态特征并非易事，因此检测器对于定位并放大手部区域至关重要；其次，左手和右手的姿态表示具有对称性而非同质性 [^52]，因此必须借助左右手识别器将左手翻转成右手，以实现统一的姿态表示。然而，多阶段流程存在计算冗余问题，且姿态估计的性能可能会受到对前序结果依赖的影响。例如，在HInt测试基准上测试ViTPose [^65]时，检测和左右手分类的错误率高达11.2% [^49]，也就是说，有些样本甚至在姿态估计过程开始之前就被判定无法产生准确结果。因此，我们受到启发，希望通过研究端到端框架来克服上述挑战。
在本文中，我们提出了一种单阶段手部重建模型，命名为HandOS，其提出主要基于两个动机。首先，我们利用预训练的检测器作为基础模型来获取三维重建能力，且在训练期间保持该模型的参数不变。我们选择冻结检测器而非同时训练检测任务，是因为物体检测方法已经较为成熟，这种方式既能便于数据收集，又能加速模型收敛。此外，为使检测器适配我们的任务，我们采用侧调优策略来生成适配特征。
其次，针对左手和右手，我们采用统一的关键点表示（即二维关节点和三维顶点），而非MANO参数。由于手部通常仅占整幅图像的很小一部分，因此我们设计了实例到关节点的查询扩展机制，借助检测结果从整幅图像中提取二维关节点的语义信息。随之而来的问题是：如何利用二维线索推导三维语义并实现二维与三维的信息交换？为此，我们提出了二维到三维的查询升维机制，将二维查询转换到三维空间。此外，考虑到二维和三维元素的不同特性，我们引入了分层注意力机制，以实现二维和三维域之间的高效训练。最终形成了交互式二维-三维解码器，能够同时建模二维关节点、三维顶点以及相机平移参数。
本研究的贡献主要体现在三个方面。（1）首先，我们提出了一种用于3D手部重建的端到端HandOS框架，该框架将姿态估计功能集成到预训练的检测器中。通过无需预先区分左右手，我们证明了其单阶段处理的优越性。因此，HandOS框架提供了一种结构简洁的架构，非常适合实际的现实应用场景。（2）我们提出了一种交互式2D-3D解码器，它结合了实例到关节的查询扩展、2D到3D的查询映射以及分层注意力机制，从而能够同时学习2D/3D关键点与相机位置。（3）通过全面的评估并与现有最先进方法对比，HandOS在重建精度上展现出卓越性能：在FreiHand [^81]、HO3Dv3 [^22]和DexYCB [^6]基准测试中，PA-MPJPE分别达到5.0、8.4和5.2；在HInt-Ego4D [^49]基准测试中，PCK@0.05值更是高达64.6%。
### 2. 相关工作
3D手部重建。针对单目图像的手部重建方法大致可分为三类。参数化方法[1–4, 9, 25, 27, 38, 67, 69, 73, 75–78]通常以MANO [^52]作为参数化模型，通过预测形状/姿态系数来推断手部网格。体素方法[^26] [^44] [^45] [^68]利用2.5D热图来表示3D属性。最后，顶点回归方法则直接估算3D空间中顶点的位置[^7] [^8] [^17] [^33]。
近年来，Transformer技术[^59]已被用于提升性能[^14] [^31] [^35] [^36] [^49] [^71] [^79]。Lin等人[^35]利用Transformer开发了顶点回归框架，将图网络与注意力机制相结合以实现结构理解。Pavlakos等人[^49]则在参数化框架中应用了Transformer；借助270万条训练数据，该框架对自然场景图像的泛化能力得到了显著提升。Dong等人[^14]也开发了一种类Transformer的参数化框架，采用了基于图的Mamba [^21]，并提出了双向Scan机制来实现具备形状感知能力的建模。在我们的框架中，同样引入了Transformer架构，并开发了交互式2D-3D解码器，用于在2D和3D领域学习关键点。
上述所有方法都遵循多阶段范式，包括检测与左右手识别。检测阶段的目的是定位手部并将手部区域缩放至固定分辨率。我们并未采用外部检测器，而是直接为预训练的检测器增添姿态估计功能。此外，我们的流程无需对手部区域进行缩放；相反，我们利用实例到关节的查询扩展与可变形注意力[^80]来高效提取手部姿态特征。左右手识别阶段的目的是翻转手部区域，以统一左右手的表示方式。而我们的方法则省去了这一步骤，证明通过2D到3D的查询映射与分层注意力机制，左右手数据可以被联合学习。
---
Figure 2. Overview of HandOS framework. Left: overall architecture. Right: interactive 2D-3D decoder. With off-the-shelf features, bounding boxes, and category scores from a frozen detector, the interactive 2D-3D decoder, including query filtering, expansion, lifting, and interactive layers, can understand hand pose and shape via estimating keypoints in both 2D and 3D spaces. Each query Q is associated with a reference box, which is not depicted in the figure for conciseness.
单阶段人体姿态估计。随着基于Transformer的物体检测技术[^5] [^74]的出现，单阶段2D姿态估计正快速发展。Shi等人[^54]提出了PETR，这是首个采用分层集合预测的全端到端姿态估计框架。Yang等人[^66]设计了EDPose，通过人体到关键点解码器和交互式学习策略来进一步增强全局与局部特征聚合。
在全身体态估计领域，已有多项研究致力于从单目图像中端到端地预测SMPLX [^48]参数。例如，Sun等人[^56]提出的AiOS以由粗到精的方式整合了全身检测与姿态估计。相比之下，我们的方法专注于在单阶段框架内处理仅包含手部的图像。此外，我们并未采用参数化模型，而是利用关键点来对齐左右手的表征，同时统一2D与3D属性的表征。
双手重建。尽管现有双手交互建模方法能够同时预测两只手的姿态[^34] [^43] [^45] [^50] [^60] [^72]，但它们对左右手的处理是基于独立模块和表征的，且还需判断左右手是否存在。与那些侧重于建模手部交互的相关工作不同，本文聚焦于采用统一左右手表征的单手重建。
### 3. 方法
给定单视图图像$\mathbf{I} \in \mathbb{R}^{H \times W \times 3}$，我们的目标是推断2D关节点$\mathbf{J}^{2D} \in \mathbb{R}^{J \times 2}$、3D顶点$\mathbf{V} \in \mathbb{R}^{V \times 3}$以及相机平移量$\mathbf{t} \in \mathbb{R}^3$，其中$J = 21$、$V = 778$。随后，可由顶点得到3D关节点，即$\mathbf{J}^{3D} = \mathcal{J}\mathbf{V}$，此处$\mathcal{J}$是由MANO定义的关节回归器[^52]。在固定相机内参$\mathbf{K}$的情况下，3D关节点可被投影到图像空间，即$\mathbf{J}^{proj} = \Pi_{\mathbf{K}}(\mathbf{J}^{3D} + \mathbf{t})$，其中$\Pi$为投影函数。整体框架如图2所示。
#### 3.1. 前提：Grounding DINO
类DETR的检测器可作为HandOS的基础。例如，这里采用了Grounding DINO[^39]，它能通过文本提示来检测物体。具体而言，我们使用“Hand”作为提示，无需区分左右手。参考图2可知，Grounding DINO是一种基于Transformer的架构，包含视觉骨干网络$\mathcal{B}^{v}$、文本骨干网络$\mathcal{B}^{t}$、编码器$\mathcal{E}$、解码器$\mathcal{D}$以及检测头$\mathcal{H}$。骨干网络[^13] [^16]以图像或文本为输入并生成特征：
$$ {\mathcal B}^{v}:\mathbf{I}\to\mathbf{F}^{v}\in\mathbb{R}^{L^{v}\times d^{v}},\quad{\mathcal B}^{t}:\mathbf{T}\to\mathbf{F}^{t}\in\mathbb{R}^{L^{t}\times d^{t}}, $$
其中$\mathbf{F}^{v}$表示经过展平空间分辨率后的4尺度特征拼接结果。$L^{v}$、$L^{t}$分别表示视觉/文本令牌的长度，而$d^{v}$、$d^{t}$则为令牌维度。
编码器会对特征进行融合与增强，从而生成包含6个编码层的多模态表征：
$$ \mathcal{E}:(\mathbf{F}^{v},\mathbf{F}^{t})\to\mathbf{F}^{e}\in\mathbb{R}^{T^{v}\times d^{v}}. $$
解码器包含6个解码层，旨在从$\mathbf{F}^e$中提取特征，并利用可变形注意力机制优化查询$\mathbf{Q} \in \mathbb{R}^{Q \times d^q}$与参考框$\mathbf{R} \in \mathbb{R}^{Q \times 4}$，其中$Q, d^q$代表查询的数量与维度。解码层可表述如下：
$$ \mathcal{D}:(\mathbf{Q},\mathbf{R},\mathbf{F}^{e})\to\mathbf{Q},\quad\mathbf{R}=\mathtt{F F N}(\mathbf{Q})+\mathbf{R}, $$
---
其中FFN表示前馈网络。最终，检测头会预测类别分数和边界框：
$$ \mathcal{H}:(\mathbf{Q},\mathbf{R})\to(\mathbf{S},\mathbf{B})\in\mathbb{R}^{Q\times T^{t}}\times\mathbb{R}^{Q\times4}. $$
因此，我们收集每一层的输出，得到编码特征集$\mathcal{F}^e = \{\mathbf{F}_i^e\}_{i=1}^6$和查询集$\mathcal{Q} = \{\mathbf{Q}_i\}_{i=0}^6$。索引0表示解码器层之前的初始元素。最终，检测结果从检测头的最后一层获得，生成边界框B及对应的分数S。
#### 3.2. 侧调优
为了保留现成的检测能力，我们冻结检测器中的所有参数。然而，由于模型已完全适配检测任务，$\mathbf{F}^e$中与关键点相关的表征仍然不足。为克服这一难题，我们设计了一个可学习的网络，以$\mathcal{B}^v$的影子层作为输入，生成互补特征$\mathbf{F}^s \in \mathbb{R}^{T^v \times d^v}$。最终，Grounding DINO提供了特征，即$\mathbf{F}^{GD} = [\mathbf{F}_6^e, \mathbf{F}^s]$，其中$[\cdot, \cdot]$表示拼接操作。更多细节请参阅补充材料。
#### 3.3. 交互式2D-3D解码器
解码器的输入包括$\mathbf{F}^{GD}$、$\mathbf{B}$、$\mathbf{S}$以及查询$\mathbf{Q}^{inst} = [\mathbf{Q}_0, \mathbf{Q}_6]$，其输出包含2D关节点$\mathbf{J}^{2D}$、3D顶点$\mathbf{V}$和相机平移量$\mathbf{t}$。
实例查询过滤。Grounding DINO会生成Q个实例，但其中只有一部分属于正样本。训练期间，我们采用SimOTA分配器[^18]根据真实标签将实例分配给正样本。SimOTA首先计算成对匹配度，该匹配度由第i个预测结果与第j个真实标签之间的代价C表示（记为“$\star$”）：
$$ \begin{aligned}\mathbf{C}_{i,j}=&-\mathbf{S}_{j}^{\star}\log(\mathbf{S}_{i})-(1-\mathbf{S}_{j}^{\star})\log(1-\mathbf{S}_{i})\\&-\log(\mathbb{I}\circ\mathrm{U}(\mathbf{B}_{i},\mathbf{B}_{j}^{\star})).\end{aligned} $$
代价函数同时考虑了分类误差（即二元交叉熵）和定位误差（即交并比IoU）。随后，基于IoU推导出自适应数量K，选取代价最低的Top-K实例作为正样本[^19]。所选的查询和边界框分别记为$\mathbf{\tilde{Q}}^{inst} \in \mathbb{R}^{K \times d^q}$和$\mathbf{\tilde{B}} \in \mathbb{R}^{K \times 4}$。
推理阶段，通过设定分数阈值$T^{S}$和非极大值抑制阈值$T^{NMS}$来识别正样本查询。
实例到关节点查询扩展。我们针对2D关节点估计扩展实例查询。为此，设计了可学习的嵌入$\mathbf{e}^{\mathbf{Q}} \in \mathbb{R}^{J \times d^q}$，通过将$\mathbf{e}^{\mathbf{Q}}$与$\mathbf{Q}^{inst}$相加得到关节点查询：
$$ {\bf Q}^{\bf J^{2D}}\in\mathbb{R}^{K\times J\times d^{q}}=\tilde{\bf Q}^{i n s t}+{\bf e}^{\bf Q}. $$
Figure 3. Decoding layers. (a) Canonical 2D layer, popularly employed by previous works. (b) Interactive layer, where hierarchical attention is designed to effectively model 2D and 3D queries.
2D关节点的参考框$\mathbf{R}^{\mathbf{J}^{2D}} \in \mathbb{R}^{K \times J \times 4}$也可参照EDPose方法从实例中推导得出[^66]：
$$ \begin{aligned}\mathbf{R}_{c}^{\mathbf{J}^{2D}}&\in\mathbb{R}^{K\times J\times2}=\mathrm{FFN}(\mathbf{Q}^{\mathbf{J}^{2D}})+\tilde{\mathbf{B}}_{c},\\\mathbf{R}_{s}^{\mathbf{J}^{2D}}&\in\mathbb{R}^{K\times J\times2}=\tilde{\mathbf{B}}_{s}\cdot\mathbf{e}_{2D}^{\mathbf{R}},\end{aligned} $$
其中下标c、s分别表示参考框的中心和尺寸，$\mathbf{e}_{2D}^{\mathbf{R}} \in \mathbb{R}^{J \times 2}$是框尺寸的可学习嵌入。FFN表示前馈网络。
2D到3D查询提升。此外，还采用了第三种查询转换方式，即查询提升，它将查询和参考框从2D关节点提升至3D顶点和相机平移量。为此，我们设计了可学习的提升矩阵$\mathbf{L} \in \mathbb{R}^{(V+1) \times J}$作为2D和3D查询之间线性组合的权重，该矩阵初始化时采用MANO蒙皮权重。基于$\mathbf{L}$，提升过程可表示为
$$ \begin{aligned}&\mathbf{[}\mathbf{Q}^{\mathbf{V}},\mathbf{Q}^{\mathbf{t}}\mathbf{]}\in\mathbb{R}^{K\times(V+1)\times d^{q}}=\mathbf{L}\diamond\mathbf{Q}^{\mathbf{J}^{2D}},\\&\mathbf{[}\mathbf{R}^{\mathbf{V}},\mathbf{R}^{\mathbf{t}}\mathbf{]}\in\mathbb{R}^{K\times(V+1)\times4}=\mathbf{L}\diamond\mathbf{R}^{\mathbf{J}^{2D}},\\&\mathbf{[}\mathbf{R}_{c}^{\mathbf{V}},\mathbf{R}_{c}^{\mathbf{t}}\mathbf{]}=\mathrm{F F N}([\mathbf{Q}^{\mathbf{V}},\mathbf{Q}^{\mathbf{t}}])+[\mathbf{R}_{c}^{\mathbf{V}},\mathbf{R}_{c}^{\mathbf{t}}],\\&\mathbf{[}\mathbf{R}_{s}^{\mathbf{V}},\mathbf{R}_{s}^{\mathbf{t}}\mathbf{]}=[\mathbf{R}_{s}^{\mathbf{V}},\mathbf{R}_{s}^{\mathbf{t}}]\cdot\mathbf{e}_{3D}^{\mathbf{R}},\\ \end{aligned} $$
其中$\mathbf{e}_{3D}^{\mathbf{R}} \in \mathbb{R}^{(V+1) \times 2}$是框尺寸的嵌入，$\diamond$表示用于线性组合的爱因斯坦求和约定。
解码层与分层注意力机制。如图2所示，解码器由6层组成，其中最初的两层被指定为2D层，其余四层则作为交互层。
---
2D层包含自注意力机制、可变形注意力[^80]以及图3(a)中的前馈神经网络（FFN）。
然而，图3(a)中常用的设计无法直接应用于交互式的2D-3D学习。这是由于2D关节、3D顶点和相机平移具有不同的特性：2D关节和3D顶点应对平移和缩放具有不变性，而相机参数则需对平移和缩放均敏感。也就是说，当物体以不同位置和尺度出现在图像中时，2D关节的相对结构$\mathbf{J}^{2D}$保持不变，3D顶点的空间坐标$\mathbf{V}$也保持恒定，但3D相机平移量t却会发生变化。因此，$\mathbf{Q}^{\mathbf{J}^{2D}}$和$\mathbf{Q}^{\mathbf{V}}$应避免与$\mathbf{Q}^{\mathbf{t}}$进行注意力运算。相反，相机平移受2D位置和3D几何结构的显著影响。所以我们让$\mathbf{Q}^{\mathbf{t}}$将注意力集中在$\mathbf{Q}^{\mathbf{J}^{2D}}$和$\mathbf{Q}^{\mathbf{V}}$上。此外，3D顶点能提供稳健的几何结构表征，而2D关节则能捕捉丰富的图像特征语义。因此，我们允许它们相互关注，以此作为互补的特征。我们将这种操作称为分层注意力机制，通过它构成的交互层如图3(b)所示。分层注意力中的箭头指明了注意力机制的可见性，其注意力掩码如图8(c)所示。
最后，我们利用前馈神经网络作为头网络，用于回归2D关节、3D顶点和相机平移参数。
#### 3.4. 损失函数
2D监督。我们使用逐点L1误差和物体关键点相似性（OKS）[^42]作为依据，从2D标注中生成损失项（记为“$\star$”）：
$$ \begin{aligned}&\mathcal{L}^{\mathbf{J}^{2D}}=||\mathbf{J}^{2D}-\mathbf{J}^{2D\star}||_{1},\\&\mathcal{L}_{O K S}^{2D}=\mathsf{O K S}(\mathbf{J}^{2D},\mathbf{J}^{2D\star}).\\ \end{aligned} $$
3D监督。我们使用逐点L1误差、边级L1误差以及法线相似性来构建3D损失项：
$$ \begin{aligned}&\mathcal{L}^{\mathbf{V}}=||\mathbf{V}-\mathbf{V}^{\star}||_{1},\quad\mathcal{L}^{\mathbf{J}^{3D}}=||\mathbf{J}^{3D}-\mathbf{J}^{3D}||_{1},\\&\mathcal{L}^{normal}=\sum_{\mathbf{f}\in\mathbb{F}}\sum_{(i,j)\subset\mathbf{f}}\vert\frac{\mathbf{V}_{i}-\mathbf{V}_{j}}{\vert\vert\mathbf{V}_{i}-\mathbf{V}_{j}\vert\vert_{2}}\cdot\mathbf{n}_{\mathbf{f}}^{\star}\vert,\\&\mathcal{L}^{edge}=\sum_{\mathbf{f}\in\mathbb{F}}\sum_{(i,j)\subset\mathbf{f}}\vert\vert\vert\mathbf{V}_{i}-\mathbf{V}_{j}\vert\vert_{2}-\vert\vert\mathbf{V}_{i}^{\star}-\mathbf{V}_{j}^{\star}\vert\vert_{2}\vert,\\ \end{aligned} $$
其中$\mathbb{F}$表示由MANO[^52]定义的网格面。$\mathcal{L}^{normal}$和$\mathcal{L}^{edge}$在我们的流程中至关重要，它们能在无需依赖MANO推理的情况下诱导出合理的几何形状。
弱监督。日常生活中采集的大部分样本缺乏精确的3D标注。为解决这一问题，我们引入了基于法线一致性的弱损失项。
右手：外法线方向
Figure 4. Normal vectors serve as left-right indicator. When applying right-hand faces to left or right vertices, the directions of the normal vectors are opposed, as illustrated by the purple lines.
以及投影误差，从而能够利用2D标注来进行手部网格学习：
$$ \begin{aligned}&\mathcal{L}^{\mathbf{J}^{proj}}=||\mathbf{J}^{proj}-\mathbf{J}^{2D\star}||_{1},\\&\mathcal{L}_{OKS}^{proj}=\mathsf{OKS}(\mathbf{J}^{proj},\mathbf{J}^{2D\star}),\\&\mathcal{L}^{nc}=\sum_{\mathbf{n}_{1},\mathbf{n}_{2}}(1-<\mathbf{n}_{1},\mathbf{n}_{2}>),\\ \end{aligned} $$
其中$n_1, n_2$是共享边的相邻面的法线，$<\cdot, \cdot >$表示内积。
总体而言，总损失函数是上述各项的加权和，该损失函数不仅应用于最终结果，也应用于中间输出。
#### 3.5. 用作左右指示器法向量
HandOS既不需要将左右手类别作为先决条件，也不会显式地纳入左右手分类模块。不过，左右手信息已经嵌入到重建后的网格中。具体来说，我们以法向量作为指示符。如图4所示，基于右手面，如果网格属于左手，则法向量指向几何内部；否则指向几何外部。通过这种方式便得到了左右手类别。
### 4. 实验
#### 4.1. 实现细节
实验采用了FreiHand [^81]、HO3Dv3 [^22]、DexYCB [^6]、HInt [^49]、COCO-WholeBody [^29]以及Onehand10K [^62]等数据集。对于FreiHand、HO3Dv3和DexYCB基准测试，我们使用它们各自对应的训练数据集。为了评估HInt基准测试，我们整合FreiHand、HInt、COCO-WholeBody和Onehand10K数据集进行训练。这个组合数据集包含204K个样本，构成了HaMeR [^49]所使用的2,749K个训练样本的子集。
我们利用预训练的Grounding DINO 1.5 [^51]检测器来演示我们的方法，需注意的是我们的框架可适配其他类DETR的检测器。输入
---
| Method | PJ $\downarrow$ | PV $\downarrow$ | F@5 $\uparrow$ | F@15 $\uparrow$ |
| METRO [^36] | 6.7 | 6.8 | 0.717 | 0.981 |
| MeshGraphormer [^35] | 5.9 | 6.0 | 0.765 | 0.987 |
| MobRecon [^8] | 5.7 | 5.8 | 0.784 | 0.986 |
| PointHMR [^31] | 6.1 | 6.6 | 0.720 | 0.984 |
| Zhou et al. [^79] | 5.7 | 6.0 | 0.772 | 0.986 |
| HaMeR [^49] | 6.0 | 5.7 | 0.785 | 0.990 |
| Hamba [^14] | 5.8 | 5.5 | 0.798 | 0.991 |
| HandOS (ours) | 5.0 | 5.3 | 0.812 | 0.991 |
Table 1. Results on FreiHand. Errors are measured in mm.
| Image flip in training | PJ $\downarrow$ | PV $\downarrow$ | F@5 $\uparrow$ | F@15 $\uparrow$ |
| ✗ | 5.0 | 5.3 | 0.812 | 0.991 |
| ✓ | 5.3 | 5.6 | 0.799 | 0.989 |
Table 2. Results on FreiHand with left hands in training data.
是一整幅图像，而非裁剪后的手部图像块，其长边会被缩放至1280像素，这一设置与Grounding DINO 1.5的配置一致。我们采用Adam优化器 [^32] 对模型进行40个epoch的训练，批量大小为16。学习率初始设为0.001，从第25个epoch开始采用余弦衰减策略。在FreiHand数据集上，使用8块A100-80G GPU训练模型大约需要6天时间。
评估时采用的指标包括PA-MPJPE（简称PJ）、PA-MPVPE（简称PV）、F-score、PCK和AUC [^8] [^49]，计算公式分别为$T^S = 0.1$和$T^{NMS} = 0.9$。
#### 4.2. 主要结果
我们使用绿色和浅绿色来分别表示最佳结果和第二好的结果。以往的方法都假设检测及左右类别判断是准确的，仅衡量网格重建误差。相比之下，我们并不采用这种理想化的假设；在COCO val2017数据集上评估手部[^29]时，我们的检测器能达到0.44的box AP值[^37]。在漏检方面，我们使用$\mathbf{V} = \mathbf{0}$来计算3D指标，并将PCK/AUC值设为0。因此，我们的结果反映了检测、左右类别判断以及网格重建各环节的综合误差。
FreiHand数据集：如表1所示，HandOS在重建精度上相比现有方法具有明显优势。由于FreiHand仅包含右手样本，我们通过对图像翻转来生成用于训练的左手样本。根据表2可知，我们提供了统一的左右手表示方法，支持左右手的同时学习，所得到的结果与仅用右手样本训练的结果相当。
HO3Dv3数据集：在物体操控场景下，我们的方法同样表现出更优的性能，如表3所示。不过我们认为，以往研究对完美检测的假设在HO3Dv3数据集上并不合理。参考图5，对于高度遮挡的样本——
| Method | PJ $\downarrow$ | PV $\downarrow$ | F@5 $\uparrow$ | F@15 $\uparrow$ |
| AMVUR [^28] | 8.7 | 8.3 | 0.593 | 0.964 |
| SPMHand [^41] | 8.8 | 8.6 | 0.574 | 0.962 |
| Hamba $^{*}$ [^14] | 6.9 | 6.8 | 0.681 | 0.982 |
| HandOS (ours) | 8.4 | 8.4 | 0.584 | 0.962 |
| HandOS $^{*}$ (ours) | 6.8 | 6.7 | 0.688 | 0.983 |
Table 3. Results on HO3Dv3. Errors are measured in mm. $^{*}$ denotes using extra training data.
Figure 5. Visualization of HO3Dv3 with actual detection box. We claim that using GT box (red) for downstream tasks is ill-suited.
| Method | PJ $\downarrow$ | PV $\downarrow$ | AUC $\uparrow$ |
| Spurr et al. [^55] | 6.8 | - | 0.864 |
| MobRecon [^8] | 6.4 | 5.6 | - |
| HandOccNet [^47] | 5.8 | 5.5 | - |
| H2ONet [^64] | 5.7 | 5.5 | - |
| Zhou et al. [^79] | 5.5 | 5.5 | - |
| HandOS (ours) | 5.2 | 5.0 | 0.896 |
Table 4. Results on DexYCB. Errors are measured in mm.
请注意，只能检测到手的部分区域（即绿色框），而真实标注框仍能提供包含遮挡区域的完整手部边界（即红色框）。因此，以往研究报告的结果并不能准确反映该模型在现实应用中的性能。
相比之下，我们并不依赖完美检测这一假设，我们的单阶段流程即便面对不完美的检测框也能生成合理的结果，如图5所示。
DexYCB数据集。我们利用DexYCB数据集进一步验证HandOS在物体操控任务中的表现。如表4所示，我们在准确率方面相比相关方法具有明显优势。
提示：我们利用HInt基准测试集，结合New Days、VISOR和Ego4D数据集，通过2D PCK指标评估HandOS在日常生活图像上的表现。在我们的方法中，2D关节点既可以通过2D查询直接预测，也可以通过3D网格投影得到。因此，我们在表5中分别报告了这两类PCK结果。与以往的研究相比[^14] [^49]，我们的训练数据集只是他们数据集的子集，数据量不到他们的十分之一。即便如此，HandOS在多数PCK指标上仍优于HaMeR和Hamba。
---
Figure 6. Visual comparison. We are adept at handling long-tail textures, crowded hands, and unseen styles. Red arrows indicate errors.
| Method | Data size | Train Hint | New Days | VISOR | Ego4D |
| @0.05 | @0.1 | @0.15 | @0.05 | @0.1 | @0.15 | @0.05 | @0.1 | @0.15 |
| All | Hamba [^14] | 2,720K | | 48.7 | 79.2 | 90.0 | 47.2 | 80.2 | 91.2 | - | - | - |
| HaMeR [^49] | 2,749K | ✓ | 51.6 | 81.9 | 91.9 | 56.5 | 88.1 | 95.6 | 46.9 | 79.3 | 90.4 |
| HandOS-2D (ours) | 204K | ✓ | 55.8 | 75.8 | 84.5 | 66.2 | 85.3 | 91.8 | 64.6 | 85.3 | 92.8 |
| HandOS-proj (ours) | 53.7 | 75.9 | 85.1 | 64.8 | 85.4 | 92.0 | 63.4 | 85.3 | 92.9 |
| Visible | Hamba [^14] | 2,720K | | 61.2 | 88.4 | 94.9 | 61.4 | 89.6 | 95.6 | - | - | - |
| HaMeR [^49] | 2,749K | ✓ | 62.9 | 89.4 | 95.8 | 66.5 | 92.7 | 97.4 | 59.1 | 87.0 | 94.0 |
| HandOS-2D (ours) | 204K | ✓ | 69.8 | 85.0 | 90.6 | 80.3 | 92.5 | 95.7 | 79.7 | 93.1 | 96.6 |
| HandOS-proj (ours) | 65.7 | 84.2 | 90.5 | 78.1 | 92.1 | 95.6 | 77.4 | 92.8 | 96.6 |
| Occluded | Hamba [^14] | 2,720K | | 28.2 | 62.8 | 81.1 | 29.9 | 66.6 | 84.3 | - | - | - |
| HaMeR [^49] | 2,749K | ✓ | 33.2 | 68.4 | 84.8 | 42.6 | 79.0 | 91.3 | 33.1 | 69.8 | 84.9 |
| HandOS-2D (ours) | 204K | ✓ | 35.5 | 63.4 | 76.1 | 51.3 | 77.9 | 87.4 | 46.3 | 75.7 | 86.9 |
| HandOS-proj (ours) | 35.8 | 64.4 | 77.5 | 50.6 | 78.5 | 88.0 | 46.3 | 76.1 | 87.3 |
Table 5. Results on HInt. HandOS-2D and HandOS-proj denote the results from our 2D prediction and projected 3D prediction.
值得注意的是，我们在所有PCK@0.05指标上都取得了最高值，这凸显了该模型进行高精度预测的能力。此外，我们在HInt-Ego4D数据集的所有指标上也获得了更优的结果，显示出我们在处理第一人称视角场景时的优势。
对比表5中的HandOS-2D和HandOS-proj结果可以发现：2D预测在可见关节点上表现更好，而3D预测在遮挡关节点上更具优势，这得益于其背后的几何结构。
定性结果：如图6所示，与HaMeR[^49]和FrankMocap[^53]相比，HandOS能够应对纹理复杂、物体拥挤且风格罕见的复杂任务。即便没有对左右手进行明确分类，我们在具有挑战性的样本中也仍能得到基本正确的左右手识别及网格重建结果，如第2行所示。需要注意的是，卡通样本并未纳入我们的训练集，因此第3行展示了我们在不同风格上的零样本泛化能力。
| $\mathbf{Q}^{inst}$ | $\mathbf{Q}^{uni}$ | $\mathbf{F}_{4}^{e}$ | $\mathbf{F}_{6}^{e}$ | $\mathbf{B}^{v}$ | SwinT | New Days | VISOR | Ego4D |
| ✓ | | ✓ | ✓ | | 73.8 | 82.5 | 86.7 | |
| ✓ | | ✓ | ✓ | 71.9 | 80.7 | 86.5 | |
| ✓ | | ✓ | | ✓ | 71.5 | 79.5 | 85.9 | |
| ✓ | | | ✓ | | 64.7 | 75.6 | 80.1 | |
Table 6. Ablation studies on side tuning and feature selection. The number is measured at PCK@0.1. “ $\mathcal{B}^{v}$,SwinT” means that $\mathbf{F}^{s}$ is from the pre-trained visual backbone or a from-scratch SwinT.
此外，从图5可以看出，HandOS能够有效处理遮挡场景下的不完美检测结果。与HaMeR相比，图5也体现了我们在消除累积误差方面的单阶段流程优势。
#### 4.3. 消融实验
关于预训练检测器：我们采用预训练的Grounding DINO模型进行关键点估计，因此有必要探究预训练模型与下游任务的适配性。
---
Figure 7. Query lifting matrix. Tips and roots are arranged in the order of thumb, forefinger, middle finger, ring finger, and pinky. The vertex and joint indices follow MANO and MPII orders.
我们通过2D姿态模型对查询与特征选择、侧边微调等关键配置进行了分析，相关的消融实验结果详见表6。
我们使用实例查询$\mathbf{Q}^{inst} \in \mathbb{R}^{K \times d^q}$来生成关键点查询。换一种说法，关键点查询可以在不同实例间共享。因此，我们设计了一个统一的查询$\mathbf{Q}^{uni} \in \mathbb{R}^{1 \times d^q}$，将其应用于K个选定的实例及其对应的参考框。此外，与检测器提供的$\mathbf{Q}^{inst}$不同，$\mathbf{Q}^{uni}$可以与解码器一同优化。参考表6的第1行和第2行可知，$\mathbf{Q}^{inst}$相比$\mathbf{Q}^{uni}$更具优势；也就是说，与$\mathbf{Q}^{uni}$相比，$\mathbf{Q}^{inst}$包含了实例特定的信息，能够减少实例间的混淆。
如表6的第一行和第三行所示，当用作可变形注意力的值时，$\mathbf{F}_6^e$的表现优于$\mathbf{F}_4^e$。由于$\mathbf{F}_6^e$是深度最大的表征，它会受到检测训练的显著影响，因此对于需要更精细物体细节表征的关键点估计任务而言并非最佳选择。不过，通过辅助调优可以补充细节特征，从而使语义最丰富的$\mathbf{F}_6^e$能够取得更优异的性能。
我们通过将所提设计与从头开始训练的SwinT网络[^40]进行比较，来探究辅助调优的效果。如表6的最后几行所示，从头开始训练的额外SwinT网络会导致性能不佳。这一结果表明，尽管V的浅层特征是在检测任务上训练得到的，但它们仍能被映射以适应其他任务，且检测预训练也能带来积极效果。
查询升维。我们设计了升维矩阵L，用于将2D关节查询转换到3D空间。在训练过程中，L往往遵循固定模式，我们选取了几种典型的升维模式进行可视化展示。如图7所示，升维过程体现出语义一致性，顶点查询源自对应关节的查询。
Figure 8. The ablation setting in Table 7. The dark color indicates visible attention computation.
| Method | New Days | VISOR | Ego4D | FreiHand |
| Fig. 8(a) | 75.1/70.9 | 84.9/81.2 | 84.9/82.1 | 6.4 |
| Fig. 8(b) | 75.7/75.8 | 85.1/85.3 | 85.2/85.2 | 5.7 |
| Fig. 8(c) | 75.8/75.9 | 85.3/85.4 | 85.3/85.3 | 5.6 |
| Fig. 8(d) | 74.6/74.8 | 84.1/84.2 | 84.6/84.5 | 5.9 |
Table 7. Ablation studies on attention strategy. The numbers of the Hint benchmark are PCK@0.1 computed with 2D/projected joints. The numbers of FreiHand is PA-MPVPE in mm.
分层注意力。考虑到2D关节、3D顶点以及相机平移的不同特性，我们研究了注意力策略并验证了所提分层注意力的有效性，即图8(c)。与之相比，图8(a)对不同属性采用独立的注意力机制；图8(b)为单向注意力；而图8(d)则采用全注意力策略。参考表7可知，我们的设计在2D和3D指标上均表现最佳。由于图8(a)无法感知2D查询，因此会导致3D学习效果欠佳。图8(d)会使关键点与相机位置产生关联，进而破坏2D关节与3D顶点之间的相对空间结构。图8(b)的性能虽与我们设计的相近，但关键点之间的交互不足。表5也体现了图8(c)的必要性：2D预测在可见关节上表现良好，而投影估计在遮挡关节上更为出色。这凸显了2D关节与3D顶点之间信息交换的重要性。
### 5. 结论
我们提出了HandOS，这是一个用于3D手部网格重建的端到端框架，它集手部检测、左右手识别以及姿态估计功能于一体。此外，我们提出了一种带有查询扩展、升维和分层注意力的交互式2D-3D解码器，能够支持2D关节、3D顶点以及相机平移的同时学习。最终，HandOS在FreiHand、Ho3Dv3、DexYCB和HInt基准测试中均取得了最先进的性能。
致谢：本研究部分得到了国家自然科学基金项目（批准号：62403012、62233001、U23B2037）以及博士后创新人才支持计划（批准号：BX2023004）的资助。作者感谢陈凌浩提出的建设性讨论。
---
## 参考文献
[^1]: Seungryul Baek, Kwang In Kim, and Tae-Kyun Kim. Pushing the envelope for RGB-based dense 3D hand pose estimation via neural rendering. In CVPR, 2019. 2
[^2]: Seungryul Baek, Kwang In Kim, and Tae-Kyun Kim. Weakly-supervised domain adaptation via GAN and mesh model for estimating 3D hand poses interacting objects. In CVPR, 2020. 2
[^3]: Adnane Boukhayma, Rodrigo de Bem, and Philip HS Torr. 3D hand shape and pose from images in the wild. In CVPR, 2019.
[^4]: Zhe Cao, Ilija Radosavovic, Angjoo Kanazawa, and Jitendra Malik. Reconstructing hand-object interactions in the wild. In ICCV, 2021. 2
[^5]: Nicolas Carion, Francisco Massa, Gabriel Synnaeve, Nicolas Usunier, Alexander Kirillov, and Sergey Zagoruyko. End-to-end object detection with transformers. In ECCV, 2020. 3
[^6]: Yu-Wei Chao, Wei Yang, Yu Xiang, Pavlo Molchanov, Ankur Handa, Jonathan Tremblay, Yashraj S Narang, Karl Van Wyk, Umar Iqbal, Stan Birchfield, et al. Dexycb: A benchmark for capturing hand grasping of objects. In CVPR, 2021. 2, 5, 13
[^7]: Xingyu Chen, Yufeng Liu, Chongyang Ma, Jianlong Chang, Huayan Wang, Tian Chen, Xiaoyan Guo, Pengfei Wan, and Wen Zheng. Camera-space hand mesh recovery via semantic aggregation and adaptive 2D-1D registration. In CVPR, 2021. 2
[^8]: Xingyu Chen, Yufeng Liu, Dong Yajiao, Xiong Zhang, Chongyang Ma, Yanmin Xiong, Yuan Zhang, and Xiaoyan Guo. Mobrecon: Mobile-friendly hand mesh reconstruction from monocular image. In CVPR, 2022. 2, 6, 13, 14
[^9]: Yujin Chen, Zhigang Tu, Di Kang, Linchao Bao, Ying Zhang, Xuefei Zhe, Ruizhi Chen, and Junsong Yuan. Model-based 3d hand reconstruction via self-supervised learning. In CVPR, 2021. 2
[^10]: Yujin Chen, Zhigang Tu, Di Kang, Linchao Bao, Ying Zhang, Xuefei Zhe, Ruizhi Chen, and Junsong Yuan. Model-based 3d hand reconstruction via self-supervised learning. In CVPR, 2021.
[^11]: Yuanpei Chen, Yaodong Yang, Tianhao Wu, Shengjie Wang, Xidong Feng, Jiechuan Jiang, Zongqing Lu, Stephen Marcus McAleer, Hao Dong, and Song-Chun Zhu. Towards human-level bimanual dexterous manipulation with reinforcement learning. In NeurIPS, 2022. 1
[^12]: Junhyeong Cho, Kim Youwang, and Tae-Hyun Oh. Cross-attention of disentangled modalities for 3D human mesh recovery with transformers. In ECCV, 2022.
[^13]: Jacob Devlin. Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018. 3
[^14]: Haoye Dong, Aviral Chharia, Wenbo Gou, Francisco Vicente Carrasco, and Fernando De la Torre. Hamba: Single-view 3d hand reconstruction with graph-guided bi-scanning mamba. In NeurIPS, 2024. 2, 6, 7, 13
[^15]: Bardia Doosti, Shujon Naha, Majid Mirbagheri, and David J Crandall. HOPE-Net: A graph-based model for hand-object pose estimation. In CVPR, 2020. 1
[^16]: Yuxin Fang, Wen Wang, Binhui Xie, Quan Sun, Ledell Wu, Xinggang Wang, Tiejun Huang, Xinlong Wang, and Yue Cao. Eva: Exploring the limits of masked visual representation learning at scale. In CVPR, 2023. 3
[^17]: Liuhao Ge, Zhou Ren, Yuncheng Li, Zehao Xue, Yingying Wang, Jianfei Cai, and Junsong Yuan. 3D hand shape and pose estimation from a single RGB image. In CVPR, 2019. 2
[^18]: Z Ge. Yolox: Exceeding yolo series in 2021. arXiv preprint arXiv:2107.08430, 2021. 4
[^19]: Zheng Ge, Songtao Liu, Zeming Li, Osamu Yoshie, and Jian Sun. OTA: Optimal transport assignment for object detection. In CVPR, 2021. 4
[^20]: John C Gower. Generalized procrustes analysis. Psychometrika, 1975. 12
[^21]: Albert Gu and Tri Dao. Mamba: Linear-time sequence modeling with selective state spaces. 2023. 2
[^22]: Shreyas Hampali, Mahdi Rad, Markus Oberweger, and Vincent Lepetit. Honnotate: A method for 3d annotation of hand and object poses. In CVPR, 2020. 2, 5, 13
[^23]: Shreyas Hampali, Sayan Deb Sarkar, Mahdi Rad, and Vincent Lepetit. Keypoint transformer: Solving joint identification in challenging hands and object interactions for accurate 3d pose estimation. In CVPR, pages 11090–11100, 2022. 13
[^24]: Shangchen Han, Beibei Liu, Randi Cabezas, Christopher D Twigg, Peizhao Zhang, Jeff Petkau, Tsz-Ho Yu, Chun-Jung Tai, Muzaffer Akbay, Zheng Wang, et al. MEgATrack: monochrome egocentric articulated hand-tracking for virtual reality. ACM TOG, 2020. 1
[^25]: Yana Hasson, Gul Varol, Dimitrios Tzionas, Igor Kalevatykh, Michael J Black, Ivan Laptev, and Cordelia Schmid. Learning joint reconstruction of hands and manipulated objects. In CVPR, 2019. 2
[^26]: Umar Iqbal, Pavlo Molchanov, Thomas Breuel Juergen Gall, and Jan Kautz. Hand pose estimation via latent 2.5D heatmap regression. In ECCV, 2018. 2
[^27]: Hanwen Jiang, Shaowei Liu, Jiashun Wang, and Xiaolong Wang. Hand-object contact consistency reasoning for human grasps generation. In ICCV, 2021. 2
[^28]: Zheheng Jiang, Hossein Rahmani, Sue Black, and Bryan M Williams. A probabilistic attention model with occlusion-aware texture regression for 3d hand reconstruction from a single rgb image. In CVPR, 2023. 6, 13
[^29]: Sheng Jin, Lumin Xu, Jin Xu, Can Wang, Wentao Liu, Chen Qian, Wanli Ouyang, and Ping Luo. Whole-body human pose estimation in the wild. In ECCV, 2020. 5, 6, 12, 13, 14
[^30]: Hanbyul Joo, Tomas Simon, Mina Cikara, and Yaser Sheikh. Towards social artificial intelligence: Nonverbal social signal prediction in a triadic interaction. In CVPR, 2019. 1
[^31]: Jeonghwan Kim, Mi-Gyeong Gwon, Hyunwoo Park, Hyukmin Kwon, Gi-Mun Um, and Wonjun Kim. Sampling is matter: Point-guided 3d human mesh reconstruction. In CVPR, 2023. 2, 6
[^32]: Diederik P Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In ICLR, 2014. 6
## [^33]: Dominik Kulon, Riza Alp Guler, Iasonas Kokkinos, Michael M Bronstein, and Stefanos Zafeiriou. Weakly-
---
野外环境下的监督式网格卷积手部重建。载于CVPR，2020年。第2页。
[^34]: Mengcheng Li, Liang An, Hongwen Zhang, Lianpeng Wu, Feng Chen, Tao Yu, and Yebin Liu. Interacting attention graph for single image two-hand reconstruction. In CVPR, 2022. 3
[^35]: Kevin Lin, Lijuan Wang, and Zicheng Liu. Mesh graphormer. In ICCV, 2021. 2, 6
[^36]: Kevin Lin, Lijuan Wang, and Zicheng Liu. End-to-end human pose and mesh reconstruction with transformers. In CVPR, 2021. 2, 6
[^37]: Tsung-Yi Lin, Michael Maire, Serge Belongie, James Hays, Pietro Perona, Deva Ramanan, Piotr Dollár, and C Lawrence Zitnick. Microsoft COCO: Common objects in context. In ECCV, 2014. 6, 13
[^38]: Shaowei Liu, Hanwen Jiang, Jiarui Xu, Sifei Liu, and Xiaolong Wang. Semi-supervised 3D hand-object poses estimation with interactions in time. In CVPR, 2021. 2
[^39]: Shilong Liu, Zhaoyang Zeng, Tianhe Ren, Feng Li, Hao Zhang, Jie Yang, Chunyuan Li, Jianwei Yang, Hang Su, Jun Zhu, et al. Grounding dino: Marrying dino with grounded pre-training for open-set object detection. In ECCV, 2024. 3, 14
[^40]: Ze Liu, Yutong Lin, Yue Cao, Han Hu, Yixuan Wei, Zheng Zhang, Stephen Lin, and Baining Guo. Swin transformer: Hierarchical vision transformer using shifted windows. In ICCV, 2021. 8
[^41]: Haofan Lu, Shuiping Gou, and Ruimin Li. SPMHand: Segmentation-guided progressive multi-path 3d hand pose and shape estimation. IEEE TMM, 2024. 6
[^42]: Debapriya Maji, Soyeb Nagori, Manu Mathew, and Deepak Poddar. Yolo-Pose: Enhancing YOLO for multi person pose estimation using object keypoint similarity loss. In CVPR, 2022. 5
[^43]: Gyeongsik Moon. Bringing inputs to shared domains for 3D interacting hands recovery in the wild. In CVPR, 2023. 3
[^44]: Gyeongsik Moon and Kyoung Mu Lee. I2L-MeshNet: Image-to-pixel prediction network for accurate 3D human pose and mesh estimation from a single RGB image. In ECCV, 2020. 2
[^45]: Gyeongsik Moon, Shoou-I Yu, He Wen, Takaaki Shiratori, and Kyoung Mu Lee. Interhand2.6M: A dataset and baseline for 3d interacting hand pose estimation from a single RGB image. In ECCV, 2020. 2, 3
[^46]: Evonne Ng, Shiry Ginosar, Trevor Darrell, and Hanbyul Joo. Body2Hands: Learning to infer 3D hands from conversational gesture body dynamics. In CVPR, 2021. 1
[^47]: JoonKyu Park, Yeonguk Oh, Gyeongsik Moon, Hongsuk Choi, and Kyoung Mu Lee. HandOccNet: Occlusion-robust 3D hand mesh estimation network. In CVPR, pages 1496–1505, 2022. 6
[^48]: Georgios Pavlakos, Vasileios Choutas, Nima Ghorbani, Timo Bolkart, Ahmed AA Osman, Dimitrios Tzionas, and Michael J Black. Expressive body capture: 3D hands, face, and body from a single image. In CVPR, 2019. 3
[^49]: Georgios Pavlakos, Dandan Shan, Ilija Radosavovic, Angjoo Kanazawa, David Fouhey, and Jitendra Malik. Reconstruct-
在CVPR 2024会议上发表了关于利用Transformer实现3D手部建模的研究成果。涉及参考文献编号：2、5、6、7、12、13、14。
[^50]: Pengfei Ren, Chao Wen, Xiaozheng Zheng, Zhou Xue, Haifeng Sun, Qi Qi, Jingyu Wang, and Jianxin Liao. Decoupled iterative refinement framework for interacting hands reconstruction from a single rgb image. In ICCV, 2023. 3
[^51]: Tianhe Ren, Qing Jiang, Shilong Liu, Zhaoyang Zeng, Wenlong Liu, Han Gao, Hongjie Huang, Zhengyu Ma, Xiaoke Jiang, Yihao Chen, Yuda Xiong, Hao Zhang, Feng Li, Peijun Tang, Kent Yu, and Lei Zhang. Grounding dino 1.5: Advance the "edge" of open-set object detection. arXiv preprint arXiv:1810.04805, 2024. 5
[^52]: Javier Romero, Dimitrios Tzionas, and Michael J Black. Embodied hands: Modeling and capturing hands and bodies together. ACM TOG, 2017. 2, 3, 5
[^53]: Yu Rong, Takaaki Shiratori, and Hanbyul Joo. FrankMocap: A monocular 3D whole-body pose estimation system via regression and integration. In ICCV, 2021. 7
[^54]: Dahu Shi, Xing Wei, Liangqi Li, Ye Ren, and Wenming Tan. End-to-end multi-person pose estimation with transformers. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 11069–11078, 2022. 3
[^55]: Adrian Spurr, Umar Iqbal, Pavlo Molchanov, Otmar Hilliges, and Jan Kautz. Weakly supervised 3D hand pose estimation via biomechanical constraints. In ECCV. Springer, 2020. 6
[^56]: Qingping Sun, Yanjun Wang, Ailing Zeng, Wanqi Yin, Chen Wei, Wenjia Wang, Haiyi Mei, Chi-Sing Leung, Ziwei Liu, Lei Yang, et al. Aios: All-in-one-stage expressive human pose and shape estimation. In CVPR, 2024. 3
[^57]: Xiao Tang, Tianyu Wang, and Chi-Wing Fu. Towards accurate alignment in real-time 3d hand-mesh reconstruction. In ICCV, 2021. 1
[^58]: Pavan Kumar Anasosalu Vasu, James Gabriel, Jeff Zhu, Oncel Tuzel, and Anurag Ranjan. FastVit: A fast hybrid vision transformer using structural reparameterization. In ICCV, 2023.
[^59]: Ashish Vaswani, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In NeurIPS, 2017. 2
[^60]: Congyi Wang, Feida Zhu, and Shilei Wen. Memahand: Exploiting mesh-mano interaction for single image two-hand reconstruction. In CVPR, 2023. 3
[^61]: Ruicheng Wang, Jialiang Zhang, Jiayi Chen, Yinzhen Xu, Puhao Li, Tengyu Liu, and He Wang. DexGraspNet: A large-scale robotic dexterous grasp dataset for general objects based on simulation. In ICRA, 2023. 1
[^62]: Yangang Wang, Cong Peng, and Yebin Liu. Mask-pose cascaded cnn for 2d hand pose estimation from single color image. IEEE Transactions on Circuits and Systems for Video Technology, 29(11):3258–3268, 2018. 5, 12, 13, 14
[^63]: Fu Xiong, Boshen Zhang, Yang Xiao, Zhiguo Cao, Taidong Yu, Joey Tianyi Zhou, and Junsong Yuan. A2j: Anchor-to-joint regression network for 3d articulated pose estimation from a single depth image. In ICCV, 2019.
### [^64]: Hao Xu, Tianyu Wang, Xiao Tang, and Chi-Wing Fu. H2ONet: Hand-occlusion-and-orientation-aware network
---
用于实时3D手部网格重建。发表于CVPR会议，第17048–17058页，2023年。参考文献编号：6。
[^65]: Yufei Xu, Jing Zhang, Qiming Zhang, and Dacheng Tao. ViTPose: Simple vision transformer baselines for human pose estimation. In NeurIPS, 2022. 2, 12, 13
[^66]: Jie Yang, Ailing Zeng, Shilong Liu, Feng Li, Ruimao Zhang, and Lei Zhang. Explicit box detection unifies end-to-end multi-person pose estimation. In ICLR, 2023. 3, 4
[^67]: Lixin Yang, Jiasen Li, Wenqiang Xu, Yiqun Diao, and Cewu Lu. BiHand: Recovering hand mesh with multi-stage bisected hourglass networks. In BMVC, 2020. 2
[^68]: Linlin Yang, Shicheng Chen, and Angela Yao. SemiHand: Semi-supervised hand pose estimation with consistency. In ICCV, 2021. 2
[^69]: Lixin Yang, Xinyu Zhan, Kailin Li, Wenqiang Xu, Jiefeng Li, and Cewu Lu. CPF: Learning a contact potential field to model the hand-object interaction. In ICCV, 2021. 1,2
[^70]: Lixin Yang, Kailin Li, Xinyu Zhan, Jun Lv, Wenqiang Xu, Jiefeng Li, and Cewu Lu. Artiboost: Boosting articulated 3d hand-object pose estimation via online exploration and synthesis. In CVPR, 2022.
[^71]: Yusuke Yoshiyasu. Deformable mesh transformer for 3D human mesh recovery. In CVPR, 2023. 2
[^72]: Zhengdi Yu, Shaoli Huang, Fang Chen, Toby P. Breckon, and Jue Wang. Acr: Attention collaboration-based regressor for arbitrary two-hand reconstruction. In CVPR, 2023. 3
[^73]: Baowen Zhang, Yangang Wang, Xiaoming Deng, Yinda Zhang, Ping Tan, Cuixia Ma, and Hongan Wang. Interacting two-hand 3D pose and shape reconstruction from single color image. In ICCV, 2021. 2
[^74]: Hao Zhang, Feng Li, Shilong Liu, Lei Zhang, Hang Su, Jun Zhu, Lionel M. Ni, and Heung-Yeung Shum. Dino: Detr with improved denoising anchor boxes for end-to-end object detection. In ICLR, 2023. 3
[^75]: Xiong Zhang, Qiang Li, Hong Mo, Wenbo Zhang, and Wen Zheng. End-to-end hand mesh recovery from a monocular RGB image. In ICCV, 2019. 2
[^76]: Xiong Zhang, Hongsheng Huang, Jianchao Tan, Hongmin Xu, Cheng Yang, Guozhu Peng, Lei Wang, and Ji Liu. Hand image understanding via deep multi-task learning. In ICCV, 2021.
[^77]: Zimeng Zhao, Xi Zhao, and Yangang Wang. TravelNet: Self-supervised physically plausible hand motion learning from monocular color images. In ICCV, 2021.
[^78]: Yuxiao Zhou, Marc Habermann, Weipeng Xu, Ikhsanul Habibie, Christian Theobalt, and Feng Xu. Monocular real-time hand shape and motion capture using multi-modal data. In CVPR, 2020. 2
[^79]: Zhishan Zhou, Shihao Zhou, Zhi Lv, Minqiang Zou, Yao Tang, and Jiajun Liang. A simple baseline for efficient hand mesh reconstruction. In CVPR, 2024. 2, 6
[^80]: Xizhou Zhu, Weijie Su, Lewei Lu, Bin Li, Xiaogang Wang, and Jifeng Dai. Deformable DETR: Deformable transformers for end-to-end object detection. arXiv preprint arXiv:2010.04159, 2020. 2, 5
这是一种无需标记点即可从单张RGB图像中捕捉手部姿态与形状的数据集。发表于ICCV 2019会议。涉及参考文献编号：2、5、13、14。
#### [^81]: Christian Zimmermann, Duygu Ceylan, Jimei Yang, Bryan Russell, Max Argus, and Thomas Brox. FreiHAND: A
---
#### 摘要
这是HandOS的补充文档，包含实现细节（第六节）、评估指标（第七节）、左右手分类讨论（第八节）、检测器适配（第九节）以及HO3D实验结果（第十节），还有更多对比分析（第十一节）、效率评估（第十二节）和可视化结果（第十四节）。最后还分析了失败案例（第十三节）与局限性（第十六节）。
### 六、实现细节
### 六、1. 侧边调优
如图九所示，我们在视觉骨干网络中采用了4个尺度的特征图。针对每个尺度，我们使用3层卷积层来进行特征映射。最终，来自$\mathbf{F}_{s}$的4个尺度映射特征。
Figure IX. The architecture of side tuning.
### 六、2. 损失函数与训练
完整的损失函数如下所示。
$$ \begin{aligned}{\mathcal{L}}&{{}=\lambda^{\mathbf{J}^{2D}}\mathcal{L}^{\mathbf{J}^{2D}}+\lambda_{{O K S}}^{2D}\mathcal{L}_{{O K S}}^{2D}}\\ {}&{{}+\lambda^{\mathbf{V}}\mathcal{L}^{\mathbf{V}}+\lambda^{\mathbf{J}^{3D}}\mathcal{L}^{\mathbf{J}^{3D}}}\\ {}&{{}+\lambda^{{n o m r a l}}\mathcal{L}^{{n o m r a l}}+\lambda^{{e d g e}}\mathcal{L}^{{e d g e}}}\\ {}&{{}+\lambda^{\mathbf{J}^{{p r o j}}}\mathcal{L}^{\mathbf{J}^{{p r o j}}}+\lambda_{{O K S}}^{{p r o j}}\mathcal{L}_{{O K S}}^{{p r o j}}}\\ {}&{{}+\lambda^{{n c}}\mathcal{L}^{{n c}},}\\ \end{aligned} $$
其中$\lambda^{\mathbf{J}^{2D}} = \lambda^{\mathbf{J}^{3D}} = \lambda^{\mathbf{J}^{\mathbf{V}}} = \lambda^{\mathbf{J}^{proj}} = \lambda^{edge} = 10$、$\lambda_{OKS}^{2D} = \lambda_{OKS}^{proj} = 4$、$\lambda^{normal} = 5$、$\lambda^{nc} = 0.5$。
HandOS可以通过$\mathcal{L}$以端到端的方式训练。为了加快收敛速度并缩短实验时间，我们采用两阶段训练策略。首先训练2D模型，其结果在主文的表6中有所报告。该2D模型遵循主文图2中的整体架构，只是将所有交互层替换为2D层。此外，2D模型不涉及查询提升以及3D顶点/相机预测。训练数据包括HInt [^49]、COCO [^29]和OneHand10K [^62]，损失函数为$\lambda^{2D} \mathcal{L}^{2D} + \lambda_{OKS}^{2D} \mathcal{L}_{OKS}^{2D}$。2D模型的训练在8块NVIDIA A100 GPU上耗时3天。
随后，我们以2D模型的权重作为初始化参数，在各类基准数据集上开展实验，这些数据集各有对应的训练数据。
损失函数的消融研究结果见表八。$\mathcal{L}_{OKS}$能够提升针对不同尺寸实例的2D学习效率。$\mathcal{L}^{sp} = \mathcal{L}^{normal} + \mathcal{L}^{edge}$对结构形状学习至关重要，而$\mathcal{L}^{nc}$则是一种平滑正则化项。其他损失项也是必不可少的。
| $\mathcal{L}_{OKS}$ | $\mathcal{L}^{nc}$ | $\mathcal{L}^{sp}$ | Ego4D $_{2D-PCK}$ | FreiHand $_{PV}$ |
| ✓ | ✓ | ✓ | 85.3 | 5.6 |
| ✓ | ✓ | 83.2 | 5.8 |
| | ✓ | 83.2 | 5.9 |
| | | 82.9 | 13.2 |
Table VIII. Ablation study of loss functions.
### 七、评估指标
正确定位的关键点百分比（PCK）是用来评估2D关键点定位精度的指标。如果预测位置与真实位置之间的距离低于指定阈值，则该关键点被视为定位正确。我们采用的阈值分别为0.05、0.1和0.15倍框尺寸，即PCK@0.05、PCK@0.1和PCK@0.15。
平均关节/顶点位置误差（MPJPE/MPVPE）通过欧几里得距离（单位：毫米）来衡量估计坐标与真实坐标之间的平均误差。由于单目图像无法反映某些全局变化，我们采用Procrustes分析 [^20] 来重点关注局部精度，即PA-MPJPE/MPVPE。
F分数表示两个网格之间在指定距离阈值下的召回率与精确率的调和平均值。具体而言，F@5和F@15分别对应5毫米和15毫米的阈值。
曲线下面积（AUC）指的是在0到50毫米范围内、以100个步长划分的误差阈值下绘制的PCK曲线下方的面积。
### 八、左右手分类讨论
左右手的识别是一项颇具挑战性的任务。以往的研究通常借助身体先验信息 [^65] 来实现这一分类，也就是说，借助整体身体结构就能轻松区分左右手。然而，在很多场景中，手部是脱离身体单独出现的，比如以自我为中心的场景。此时分类误差会增大，进而影响多阶段方法的性能。
---
我们的单阶段流程不受先验左右手信息的干扰，而是利用法线方向根据重建后的网格确定左右手类别。这样一来，只要重建结果准确，左右手分类也会同样精准。
与以往的“左右手→网格”范式相比，我们的“网格→左右手”范式为手部侧别理解提供了另一种思路。因此，我们的方法在左右手分类方面表现更优。基于HInt测试集，ViTPose [^65] 在默认设置下能达到94.6%的检测召回率和93.8%的左右手分类精确率。相比之下，基于Grounding DINO的HandOS在置信度阈值为0.1时，检测召回率可达100%，左右手分类精确率为97.9%。需要注意的是，由于Hint并未标注图像中的所有正样本实例，因此无法计算检测精确率。
### 九、其他检测器的适配性
我们使用DINO-X [? ]作为检测器来构建HandOS，在COCO val2017数据集上测量手部类别时，其盒AP值达到0.428 [^29] [^37]。相关指标如表IX所示，显然我们的HandOS能够适配所有类DETR检测器。
| Method | New Days | VISOR | Ego4D | FreiHand |
| main text | 75.8/75.9 | 85.3/85.4 | 85.3/85.3 | 5.6 |
| w/ DINO-X | 76.3/76.5 | 84.8/84.6 | 85.6/85.5 | 5.5 |
Table IX. The numbers of the Hint benchmark are PCK@0.1 computed with 2D/projected joints. The numbers of FreiHand is PA-MPVPE in mm.
### 十、HO3Dv3的进一步分析
正如正文图5所解释的，以往研究普遍采用的基于真实框的推理方式并不合适。我们没有遵循这种设定，而是使用实际检测框进行推理。此外，检测结果与真实框的不对齐也可能对HandOS的训练产生不利影响，即训练过程中基于真实框的查询过滤效率会降低。即便存在这些不利条件，HandOS仍能取得优异的结果，例如PA-MPJPE仅为8.4。
同时，也有必要用Ho3Dv3的真实框来评估模型性能。结果显示，尽管训练过程中并未使用真实框，但推理过程仍能适配它们，这得益于可变形注意力机制的自适应框内特征定位能力，也体现了我们对框变化的鲁棒性。
为了解决训练过程中的问题，我们采用了更多的训练数据，包括FreiHand [^81]、HInt [^49]、COCO [^29]、OneHand10K [^62]、HO3Dv3 [^22]、DexYCB [^6]、CompHand [^8]以及$H_{2}O_{3}D$ [^23]。如表X所示，我们取得了业界领先的数值结果。需要注意的是，我们合并后的训练数据包含933K个样本，这一数量少于Hamba所用的2,720K个样本。
| Method | PJ $\downarrow$ | PV $\downarrow$ | F@5 $\uparrow$ | F@15 $\uparrow$ |
| AMVUR [^28] | 8.7 | 8.3 | 0.593 | 0.964 |
| Hamba $^{*}$ [^14] | 6.9 | 6.8 | 0.681 | 0.982 |
| HandOS (ours) | 8.4 | 8.4 | 0.584 | 0.962 |
| w/ GT box (ours) | 8.4 | 8.5 | 0.581 | 0.962 |
| HandOS $^{*}$ (ours) | 6.8 | 6.7 | 0.688 | 0.983 |
Table X. Results on HO3Dv3. Errors are measured in mm. $^{*}$ denotes using extra training data.
### XI. 与HaMeR的更多定性比较
图X中展示了HandOS与HaMeR的更多对比结果，我们在精准检测（A）、新风格适配（B）、基于精确姿态/形状的精细图像对齐（C、D）以及合理的遮挡感知（E、F）方面均表现更优。
Figure X. Visual comparison between HandOS and HaMeR
### XII. 推理效率对比
设P和H分别表示人物和手的数量，我们的检测器+解码器需要$(301+108H)G$次浮点运算，占用8G内存；ViTPose+HaMeR则需要$(484P+244H)G$次浮点运算，占用12G内存。在RTX3090和PyTorch环境下，我们的检测器耗时0.5秒，解码时间则在0.1秒（$H=1$）到0.7秒（$H=10$）之间；VitPose+HaMeR的耗时则为$(0.4+0.06P+0.1H)s$。
### XIII. 失败案例
如图XI所示，在处理极端光照、遮挡和形状条件时，HandOS可能会出现误检（第一行）、左右手识别错误（第二行）、姿态不准确（第三行）以及几何伪影（第四行）等问题。
---
Figure XI. Failure cases. Red arrows indicate errors. Samples in a triplet are input, 2D detection and joints, and 3D mesh.
### XIV. 定性结果
参考图XII–XV，我们展示了所用数据集中的样本。可以看出，HandOS能够应对各种复杂场景，包括难姿态、物体遮挡等情况。我们还证明了HandOS在纹理、形状、光照和风格复杂的现实场景中同样具备应用能力，如图XVI所示。图XVI所对应的模型是用FreiHand [^81]、HInt [^49]、CompHand [^8]、COCO [^29]、OneHand10K [^62]训练的。值得注意的是，得益于Grounding DINO [^39]的开放世界表征能力，HandOS能够实现跨风格（如绘画、卡通）的零样本生成。
### XV. 补充视频
动态结果请访问我们的主页查看，该演示展示了无需采用任何时序策略的逐帧处理过程。
### XVI. 局限性与未来工作
几何先验。HandOS并未像MANO那样引入几何先验，这意味着手部形状完全从数据中学习而来，不依赖任何预定义的结构化知识。我们认为，引入隐式先验（如变分自编码器）能够加快HandOS的收敛速度，并提升预测出的手部几何结构的真实感。
姿态表示。我们使用关键点来统一左右手的表示方式。不过，要获取旋转姿态（即MANO中的$\theta$）并不容易，还需要额外的逆运动学模块。
时序一致性。HandOS是为单图像处理的场景设计的，未考虑时序一致性问题，因此应用于视频推理时可能会产生卡顿的输出。
未来工作。我们计划扩展HandOS，以实现多样化的手部理解功能。除了检测、2D姿态和3D网格外，分割、纹理以及物体接触等其他属性也具有重要的研究价值。此外，HandOS还将被用于分析人类操作技能，从而推动具身智能领域的发展。
---
Figure XII. Visualization of FreiHand evaluation set. Samples in a triplet are input, 2D detection and joints, and 3D mesh.
---
Figure XIII. Visualization of HO3Dv3 evaluation set. Samples in a triplet are input, 2D detection and joints, and 3D mesh.
---
图十四. DexYCB测试集的可视化结果。每组样本分别展示了输入图像、2D检测结果及关节信息，以及3D网格。
---
Figure XV. Visualization of HInt test set. Samples in a triplet are input, 2D detection and joints, and 3D mesh.
---
Figure XVI. Visualization of practical application. Samples in a triplet are input, 2D detection and joints, and 3D mesh.