# 一种用于单张RGB图像三维手部重建的、具备遮挡感知纹理回归功能的概率注意力模型 蒋哲恒 $^{1}$ 侯赛因·拉赫马尼 $^{1}$ 苏·布莱克 $^{2}$ 布莱恩·M·威廉姆斯 $^{1}$ $^{1}$兰卡斯特大学 $^{2}$牛津大学圣约翰学院 {z.jiang11,h.rahmani,b.williams6}@lancaster.ac.uk, ## 摘要 近年来，基于深度学习的方法在单张RGB图像的三维手部重建任务中取得了令人瞩目的成果。这类方法大致可分为两类：一类是基于模型的方法，其性能严重依赖于模型的参数空间；另一类是无模型方法，这类方法需要大量三维真实数据来消除深度歧义，且在弱监督场景下表现不佳。为解决这些问题，我们提出了一种新颖的概率模型，既具备基于模型方法的鲁棒性，又能降低对无模型方法所依赖的模型参数空间的依赖。该概率模型将基于模型的网络作为先验网络，用于估计关节和顶点的先验概率分布。我们提出了一种基于注意力的网格顶点不确定性回归（AMVUR）模型，用以捕捉顶点之间的依赖关系以及关节与网格顶点之间的相关性，从而提升它们的特征表征能力。此外，我们还提出了一种基于学习的遮挡感知手部纹理回归模型，以实现高保真的纹理重建。实验证明，所提出的概率模型在监督学习和弱监督学习场景下均具备良好的适应性。实验结果还表明，在两种训练方案下，即便存在严重遮挡情况，我们的概率模型在单张图像的三维手部及纹理重建任务中仍能达到最先进的精度。 ### 1. 引言 从单张RGB图像中重建三维手部形状和纹理是一项极具挑战性的任务，它在人机交互 [^1] [^2]、虚拟与增强现实 [3–6] 以及手语翻译 [^7] 等领域有着广泛的应用。近年来，从单目图像中重建三维手部姿态和形状的研究取得了显著进展 [8–16]。这些方法通常可分为基于模型的方法和无模型方法。基于模型的方法 [9,13–15] 利用MANO [^17] 等参数化模型，并训练网络来回归其在形状和姿态方面的参数化表示。由于这类参数化模型包含了人手的相关先验知识，因此其对环境变化的适应性较强，也更适合弱监督训练 [^12]。不过，形状和姿态的回归结果会受到从有限人手样本中学习得到的参数化模型的限制 [^8]。 相比之下，无模型方法[^8] [^11] [^12] [^16]直接回归三维手部关节和网格的坐标，而不依赖参数化模型。尽管这些方法取得了显著成果，但仍存在若干局限性。例如，Graph-CNN被[^8] [^11]用来建模相邻顶点间的相互作用，但这类模型无法捕捉顶点间的长距离依赖关系。虽然[^12]通过引入自注意力机制解决了这一问题，但它并未区分关节与顶点，而是将它们在同一自注意力模块中一并处理。此外，这些研究均不支持弱监督训练，且通常需要大量的关节与顶点三维标注数据，以消除单目三维重建中的深度歧义[^18]。 基于上述观察，我们的首要目标是结合基于模型与无模型方法的优势。为此，我们开发了一种概率方法：将MANO模型嵌入先验网络中，以估计关节与顶点的先验概率分布，而非像以往方法那样采用确定性设定。为了拓宽MANO模型的解空间，我们提出了一种基于注意力的网格顶点不确定性回归模型（AMVUR），用于估计关节与顶点的条件概率分布。在AMVUR中，为提升关节与顶点的特征表示能力，我们设计了交叉注意力模型来捕捉经过三维位置编码的关节与网格顶点之间的相关性，随后利用自注意力模型来捕捉网格顶点间的短程/长程依赖关系。借助所提出的架构，AMVUR模型可与先验网络联合训练，从而取得优于单独使用时的性能。 --- 据我们所知，我们的概率注意力模型是首个在概率模型下学习手部关节与网格概率分布的方法。 能够重建具有高保真纹理的三维手部对于三维手部个性化应用以及提升手部跟踪系统性能具有重要意义[19–21]。此外，手部纹理重建对于沉浸式虚拟现实系统中的用户体验和身体自我意识也至关重要[^3]。因此，我们提出了一种基于学习的、具备遮挡感知能力的手部纹理回归模型，通过引入遮挡感知光栅化和反向插值技术来实现高保真手部纹理重建。 我们的贡献可总结如下：(1) 我们提出了一种基于注意力的网格顶点不确定性回归模型（AMVUR），该模型包含用于捕捉关节与网格顶点间相关性的交叉注意力模块，以及用于捕捉网格顶点间短程/长程依赖关系的自注意力模块。(2) 我们提出了一种新颖的概率注意力模型，用于学习手部关节与网格顶点的概率分布，其中MANO参数化模型被用作先验网络，并与AMVUR联合训练。(3) 我们提出了一种具备遮挡感知能力的手部纹理回归模型，以实现高保真手部纹理重建，即便在严重遮挡情况下也能如此。(4) 我们证明，我们的网络既可在全监督训练方案下训练，也可在弱监督训练方案下训练，并在三个基准三维手部重建数据集HO3Dv2 [^22]、HO3Dv3 [^23]和FreiHand [^24]上取得了最先进的性能。 ### 2. 相关工作 基于模型的方法：近年来，众多工作被提出，通过回归参数化手部模型 MANO [^17] 的形状和姿态参数来重建 3D 手部；该模型由约 1K 张高分辨率 3D 手部扫描学习得到。Boukhayma 等人 [^15] 通过一个深度卷积编码器回归这些参数以及相机参数，该编码器以手部图像和从关节检测网络提取的 2D 关节热图作为输入。Zhang 等人 [^25] 提出了一种迭代回归模块，用于从 2D 关节热图拟合相机和模型参数。基于注意力的方法也受到越来越多的关注。Liu 等人 [^26] 引入了一种基于注意力的上下文推理模块，用于建模手-物交互。最近的一种方法 [^14] 提出利用自注意力机制将手部信息注入被遮挡区域。然而，他们的方法是 2D 空间注意力机制，无法捕捉 3D 空间中网格顶点之间的相关性。 借助MANO强大的手部先验知识，其他几种方法[^13] [^18]尝试在弱监督条件下重建3D手部形状和姿态。Kulon等人[^10]应用参数化模型拟合技术，从检测到的2D手部关键点生成3D网格。随后，拟合得到的网格被用作监督信号，用于训练带有网格卷积解码器的前馈网络。Spurr等人[^18]引入生物力学约束，引导网络利用标注较弱的真实世界数据预测可行的手部姿态。Chen等人[^13]利用现成的2D姿态估计器提取的2D关节作为监督信号，训练基于模型的自编码器来估计3D手部姿态和形状。不过，与基于模型的方法类似，它们并未利用关节与网格顶点之间的相关性，而我们提出的AMVUR模型解决了这一问题，并提升了关节和顶点的特征表示能力。 无模型的方法：尽管像MANO这样的手部参数化模型可作为强大的结构先验来支持3D手部重建，有助于处理严重遮挡情况以及应对标注较弱的数据，但依赖这类模型的方法很容易陷入模型的参数空间，从而引发非最小化表示问题[^8] [^11]。为了减轻对参数空间的过度依赖，一些方法直接回归网格顶点的3D位置，而非预测模型的参数。在这些方法中，Kolotouros等人[^8]和Hongsuk等人[^11]结合了基于图像的CNN和GraphCNN来直接估计人体网格坐标。Lin等人[^12]指出，GraphCNN只能捕捉三角网格中相邻顶点间的局部交互作用，因此他们采用自注意力机制来捕捉顶点与关节间的全局交互作用。最近，Hampali等人[^16]首先通过在CNN特征图上定位关节来提取关节特征，随后将这些特征及其空间编码作为Transformer模型的输入，用于3D手部姿态估计。不过，空间编码在描述关节的3D位置时存在模糊性，尤其是在2D图像中重叠的3D关节更是如此。与上述方法不同，AMVUR中提出了一种交叉注意力模块来学习关节与网格顶点之间的相关性，随后再通过自注意力模块学习不同顶点之间的相关性。 纹理重建：3D手部纹理估计在虚拟和增强现实中具有广泛应用，但以往的大多数方法并未解决这一问题。钱等人[^27]借鉴3D可变形人脸模型[^28]，利用主成分分析（PCA）构建了参数化手部纹理模型。然而，该模型需要包含3D纹理扫描数据的手部数据集，且仅基于51个手部样本建立。最近，陈等人[^13]提出以全局特征向量为输入，通过多层感知机层来回归手部纹理。不过，这种方法只能生成较为粗糙的手部纹理，且无法识别遮挡情况。相比之下，我们的手部纹理模型能够重建带有遮挡的高保真手部纹理。 --- ![Image](images/7d0cdda6ec68b97a300e88324dd18a1cb8d9ebe950ba7952bec5cec2cc09329a.jpg)
Figure 1. Overview of our proposed method. The blue arrows and yellow arrows denote the flows of hand mesh reconstruction and hand texture regression respectively. We firstly extract a global feature vector $\mathcal{F}$ and a shallow feature map $\mathcal{F}_{map}$ from the backbone CNN. For hand mesh reconstruction, our MANO prior-net and AMVUR model take the global feature vector as input and are jointly trained to estimate the probability distributions of the 3D vertices, 3D joints and 2D joints. During training, the probability distributions estimated by these two models are tied by the KL-divergence. The camera model estimates camera parameters that are used to project the 3D joints and 3D vertices to 2D space. For hand texture regression, an Occlusion-aware texture recovery model is proposed to reconstruct occlusion-aware high-fidelity hand texture by taking the global feature vector, the shallow feature map, estimated camera parameters and estimated 3D vertices as inputs. During inference, the test image is passed through the CNN followed by AMVUR to generate the most likely 3D hand mesh which is then fed to the Occlusion-aware texture recovery model to reconstruct a textured mesh.
### 3. 所提出的模型 图1展示了我们所提出模型的概览。我们首先从卷积神经网络（CNN）骨干中提取全局特征向量$\mathcal{F}$和浅层特征图$\mathcal{F}_{map}$。接着，我们引入贝叶斯模型来描述3D手部关节、3D手部网格顶点、2D手部关节以及相机参数之间的关系，以此进行回归任务，输入即为$\mathcal{F}$。相关内容在第3.1节和第3.2节以及问题阐述部分有详细说明。我们提出的AMVUR利用$\mathcal{F}$来学习关节与网格顶点之间的相关性，具体描述见第3.3节。我们提出的考虑遮挡因素的手部纹理回归模型，利用全局特征向量和浅层特征图来实现考虑遮挡因素的高保真手部纹理重建，该内容在第3.4节中阐述。 #### 3.1. 问题阐述 给定包含手部的2D图像I，我们的目标是预测2D手部关节的位置$J_{2D} \in \mathbb{R}^{K \times 2}$、3D手部关节的位置$J_{3D} \in \mathbb{R}^{K \times 3}$、3D手部网格顶点的位置$V_{3D} \in \mathbb{R}^{V \times 3}$以及相机参数C，其中K表示关节数量，$\mathcal{V}$表示网格顶点数量。大多数基于MANO的方法[^9] [^10] [^13] [^14]首先提出深度回归模型来拟合MANO姿态和形状参数，再通过MANO层估算出最终的3D手部网格。这限制了深度神经网络在3D手部网格回归方面的学习能力。与上述方法不同，我们将MANO模型用作先验网络，并将其与我们提出的基于注意力的网格顶点不确定性回归模型（AMVUR）相结合，进行端到端训练。设$\delta$和$\theta$分别为先验网络和AMVUR的模型参数，它们是从训练数据集$D = \{J_{3D}^{i}, V_{3D}^{i}, J_{2D}^{i}, C^{i}, I^{i}\}_{i=1}^{T}$中学习得到的，其中T表示训练图像的总数。模型参数通过最大化对数似然函数来估算。 $$ \ln\mathcal{L}\left(\boldsymbol{\delta}\right)=\ln\prod_{i}P\left(J_{2D}^{i},J_{3D}^{i},V_{3D}^{i},C^{i}|I^{i};\boldsymbol{\delta}\right) $$ 其中$P\left(J_{2D}^{i}, J_{3D}^{i}, V_{3D}^{i}, C^{i}|I^{i};\delta\right)$是利用MANO模型估算出的先验联合概率分布。该值被最大化，表达式为： $$ \begin{aligned}&\underset{\delta,\theta}{\mathrm{argmax}}\ln\mathcal{L}\left(\delta,\theta\right)\\ &=\underset{\delta,\theta}{\mathrm{argmin}}\sum_{i}\left(-\ln Q\left(J_{2D}^{i},J_{3D}^{i},V_{3D}^{i},C^{i}|I^{i};\theta\right)\right.\\ &\left.\quad+\ln\frac{Q\left(J_{2D}^{i},J_{3D}^{i},V_{3D}^{i},C^{i}|I^{i};\theta\right)}{P\left(J_{2D}^{i},J_{3D}^{i},V_{3D}^{i},C^{i}|I^{i};\delta\right)}\right),\end{aligned} $$ 其中$Q\left(I_{2D}^{i}, J_{3D}^{i}, V_{3D}^{i}, C^{i}|I^{i};\theta\right)$是所提出的基于注意力的网格顶点不确定性回归模型学习得到的近似联合概率分布（更多细节见第3.3节）。变量$J_{3D}^{i}, V_{3D}^{i}, J_{2D}^{i}, C^{i}$和$I^{i}$之间的依赖关系由图2所示的有向无环图（DAG）表示的贝叶斯网络来刻画。贝叶斯定理允许利用DAG将$P\left(J_{2D}^{i}, J_{3D}^{i}, V_{3D}^{i}, C^{i}|I^{i};\delta\right)$分解为$P\left(V_{3D}^{i}|I^{i};\delta\right)$、$P\left(C^{i}|I^{i};\delta\right)$、$P\left(J_{3D}^{i}|V_{3D}^{i};\delta\right)$和$P\left(J_{2D}^{i}|J_{3D}^{i}, C^{i};\delta\right)$的乘积。在训练过程中， --- ![Image](images/0b42441ba05b90c8ae9b4063af0ba539ed4bb0fb1a45a702b7a37f133ed3afa0.jpg)
Figure 2. A DAG describes the dependence between 2D joints, 3D joints, 3D mesh vertices, camera parameters and image.
希望$Q\left(J_{2D}^{i}, J_{3D}^{i}, V_{3D}^{i}, C^{i}|I^{i};\theta\right)$的概率分布与MANO模型生成的先验概率分布能够彼此接近。这样一来，$Q\left(J_{2D}^{i}, J_{3D}^{i}, V_{3D}^{i}, C^{i}|I^{i};\theta\right)$的概率分布训练就可以以该先验分布为条件。$Q\left(J_{2D}^{i}, J_{3D}^{i}, V_{3D}^{i}, C^{i}|I^{i};\theta\right)$可以分解为$Q\left(V_{3D}^{i}|I^{i};\phi\right)$、$Q\left(C^{i}|I^{i};\gamma\right)$、$Q\left(J_{3D}^{i}|V_{3D}^{i};\phi\right)$和$Q\left(J_{2D}^{i}|J_{3D}^{i}, C^{i};\phi,\gamma\right)$的乘积，其中$\phi, \gamma \in \theta$是我们AMVUR模型中的可训练参数。 考虑到观测噪声和模型误差，我们假设$Q(V_{3D}|I;\phi)$的近似概率分布以及$P(V_{3D}|I;\delta)$的先验概率分布分别服从高斯分布$\mathcal{N}_{\phi}(\mu_{\phi}, \text{diag}(\sigma_{\phi}))$和$\mathcal{N}(\mu_{v}, \text{diag}(\sigma_{v}))$。$\mu_{\phi}, \sigma_{\phi} \in \mathbb{R}^{V \times 3}$和$\mu_{v}, \sigma_{v} \in \mathbb{R}^{V \times 3}$是通过我们的AMVUR模型和MANO模型学习得到的。基于上述设定，我们可以推导出针对网格顶点的损失函数： $$ \begin{aligned}\mathcal{L}_{V_{3D}}&=-\ln Q\left(V_{3D}^{i}|I^{i};\phi\right)+\ln\frac{Q\left(V_{3D}^{i}|I^{i};\phi\right)}{P\left(V_{3D}^{i}|I^{i};\delta\right)}\\&=\sum_{m}\left[\frac{1}{2}\left(\frac{\bar{V}_{3D}^{i,m}-\mu_{\phi}^{m}}{\sigma_{\phi}^{m}}\right)^{2}+\ln\sqrt{2\pi}\sigma_{\phi}^{m}\right]\\&\quad+\frac{1}{2}\left[\ln\prod_{m}\frac{\sigma_{v}^{m}}{\sigma_{\phi}^{m}}-d+\sum_{m}\frac{\sigma_{\phi}^{m}+\left(\mu_{v}^{m}-\mu_{\phi}^{m}\right)^{2}}{\sigma_{v}^{m}}\right]\end{aligned} $$ 其中$\tilde{V}_{3D}^{i,m}$表示$i^{th}$图像中网格顶点的真实3D坐标。m是每个维度的索引。均值$\mu_{\phi}$和方差$\sigma_{\phi}$是通过两个带有$\phi \in \theta$的MLP神经网络学习得到的。先验网络的均值$\mu_{v}$是通过MANO模型学习得到的，而方差$\sigma_{v}$被设定为等于1。d表示$\mu_{v}$的维度。公式中的最后一项用于惩罚训练过程中近似分布Q与先验分布P之间的差异。与以往广泛使用的难以捕捉数据分布的L1/L2损失不同，我们的损失函数能够让模型考虑手部的不确定性和变异性，这对于建模复杂且多样的3D网格至关重要。此外，在概率模型的训练过程中从分布中采样，能使模型探索网格的不同变体，从而构建出更鲁棒、泛化能力更强的模型。 由于相机参数的先验概率分布未知，我们假设$Q\left(C|J_{2D}^{i},I^{i};\gamma\right)$和$P\left(C|J_{2D}^{i},I^{i};\delta\right)$服从高斯分布$\mathcal{N}_{\gamma}\left(\mu_{\gamma},diag\left(\mathbf{1}\right)\right)$和$\mathcal{N}\left(\bar{C}^{i},diag\left(\mathbf{1}\right)\right)$。由此可推导出相机参数的损失函数： $$ \mathcal{L}_{C}=\sum_{m}\left(\bar{C}^{i,m}-\mu_{\gamma}^{m}\right)^{2}, $$ 其中$\bar{C}^{i,m}$表示$m^{th}$图像中真实相机参数的$i^{th}$索引。均值$\mu_{\gamma}$是通过MLP神经网络学习得到的。 为了建模3D关节与3D网格顶点之间的依赖关系，我们遵循[12–14, 17]中的常用做法，使用来自MANO模型的预定义回归矩阵$B \in \mathbb{R}^{K \times \nu}$。同时，3D关节的损失函数可推导为： $$ \begin{align*}\mathcal{L}_{J_{3D}}=&\sum_{m}\left[\frac{1}{2}\left(\frac{\bar{J}_{3D}^{i,m}-\left(B\mu_{\phi}\right)_{m}}{\left(B\sigma_{\phi}\right)_{m}}\right)^{2}+\ln\sqrt{2\pi}\left(B\sigma_{\phi}\right)_{m}\right]\\&+\frac{1}{2}\left[\ln\prod_{m}\frac{\left(B\sigma_{v}\right)_{m}}{\left(B\sigma_{\phi}\right)_{m}}-d\right.\\&\left.+\sum_{m}\frac{\left(B\sigma_{\phi}\right)_{m}+\left(\left(B\mu_{v}\right)_{m}-\left(B\mu_{\phi}\right)_{m}\right)^{2}}{\left(B\sigma_{v}\right)_{m}}\right],\end{align*} $$ 其中$\bar{J}_{3D}^{i,m}$表示真实的3D关节坐标。 为了建模2D关节、3D关节与相机参数之间的依赖关系，我们采用了弱透视相机模型：$J_{2D} = sJ_{3D}R + T$，其中s代表缩放因子，$R \in \mathbb{R}^3$和$T \in \mathbb{R}^3$分别表示相机参数C中的相机旋转和平移量。相机参数采用弧度制的轴角表示法，再通过罗德里格斯旋转公式得到旋转矩阵。2D关节的损失函数可推导为： $$ \begin{align*}\mathcal{L}_{J_{2D}}=&\sum_{m}\left(\frac{1}{2}\left(\frac{\tilde{J}_{2D}^{i,m}-S_{m}(\mu_{\phi})}{S_{m}(\sigma_{\phi})}\right)^{2}+\ln\sqrt{2\pi}S_{m}(\sigma_{\phi})\right)\\&+\frac{1}{2}\left[\ln\prod_{m}\frac{S_{m}(\sigma_{v})}{S_{m}(\sigma_{\phi})}-d\right.\\&\left.+\sum_{m}\frac{S_{m}(\sigma_{\phi})+\left(S_{m}(\mu_{v})-S_{m}(\mu_{\phi})\right)^{2}}{S_{m}(\sigma_{v})}\right],\end{align*} $$ 其中$S_m(x) = (sBxR + T)_m$和$\bar{J}_{2D}^{i,m}$表示$i^{th}$图像中真实的2D关节坐标。 #### 3.2. 弱监督问题 借助我们定义的贝叶斯模型，我们能够研究在缺乏3D真实信息（如3D关键点、3D网格顶点和相机参数）的更具挑战性条件下训练模型的问题。为解决这一问题，我们将变量$J_{3D}$、$V_{3D}$和C视为隐变量。因此，我们 --- ![Image](images/071d7a4087ecb0b2c755c860b1d452cf909b33ff7d073e9cd08dd5d44cfdb590.jpg)
Figure 3. The Attention-based Mesh Vertices Uncertainty Regression (AMVUR) module.
旨在针对$\theta$最大化以下内容： $$ \begin{aligned}\underset{\theta}{argmax}&\ln\mathcal{L}\left(\theta\right)=\underset{\theta}{argmax}\sum_{i}\ln P\left(J_{2D}^{i}|I^{i};\theta\right)\\=&\underset{\theta}{argmax}\sum_{i}\ln\iiint P\left(J_{2D}^{i},J_{3D},V_{3D},C^{i}|\right.\\&\left.I^{i};\theta\right)\mathrm{d}J_{3D}\mathrm{d}V_{3D}\mathrm{d}C\end{aligned} $$ 然而，直接对公式(7)进行边缘化计算是不可行的。因此，我们开发了一种变分推断算法来计算带惩罚项的最大似然估计。我们模型的总弱监督损失函数为： $$ \begin{aligned}&L o s s=E_{V_{3D}\sim\mathcal{N}_{\phi},C\sim\mathcal{N}_{\gamma},J_{3D}\sim\mathcal{N}_{B}}\\ &-\ln P\left(J_{2D}^{i}|J_{3D},V_{3D},C,I^{i};\delta\right)\\ &+D_{K L}\left[Q_{\phi}\left(V_{3D}|J_{2D}^{i},I^{i};\phi\right)\parallel P\left(V_{3D}|J_{2D}^{i},I^{i};\delta\right)\right]\\ &+D_{K L}\left[Q_{B}\left(J_{3D}|V_{3D},J_{2D}^{i};\phi\right)\parallel P\left(J_{3D}|V_{3D},J_{2D}^{i};\delta\right)\right]\\ &+D_{K L}\left[Q_{\gamma}\left(C|J_{2D}^{i},I^{i};\theta\right)\parallel P\left(C|J_{2D}^{i},I^{i};\delta\right)\right],\\ \end{aligned} $$ 其中，$D_{KL}[Q \parallel P]$表示KL散度，用于衡量近似概率分布Q与先验概率分布P之间的差异。通过从概率分布$E_{V_{3D} \sim N_{\phi}, C \sim N_{\gamma}, J_{3D} \sim N_{B}} - \ln P\left(I_{2D}^{j} | J_{3D}, V_{3D}, C, I^{i}; \theta\right)$、$V_{3D}$和$J_{3D}$中采样$N_{\phi}\left(\mu_{\phi}, \text{diag}(\sigma_{\phi})\right)$、$N_{\gamma}\left(\mu_{\gamma}, \text{diag}(\sigma_{\gamma})\right)$和C后，即可利用公式(6)计算出$N_{B}(B\mu_{\phi}, \text{diag}(B\sigma_{\phi}))$。$P(J_{3D}|V_{3D}, J_{2D}^{i}; \delta)$和$P(V_{3D}|J_{2D}^{i}, I^{i}; \delta)$的先验概率分布是通过prior-net学习得到的。我们采用[^13]中的相机模型来估计$P(C|J_{2D}^{i}, I^{i}; \delta)$的先验概率分布，假设其服从高斯分布$N_{\gamma}(\mu_{\gamma}, \text{diag}(\mathbf{1}))$。详细推导过程可参见补充信息。 #### 3.3. 基于注意力的网格顶点不确定性回归 以往的大多数研究[^9] [^10] [^13] [^14]都侧重于采用MANO参数化模型，并考虑姿态和形状参数的回归。然而，姿态和形状的回归受到基于有限手部样本构建的MANO参数化模型的严重限制。为克服这一局限，我们引入了基于注意力的网格顶点不确定性回归模型（AMVUR），以减轻对MANO模型参数空间的依赖，并建立关节与网格之间的关联。为了在训练过程中更好地指导所提出的AMVUR模型，我们的概率模型将MANO参数化模型作为prior-net，而AMVUR模型则用于估计以prior-net为条件的网格顶点的概率分布。AMVUR的示意图如图3所示。 为了构建3D顶点和3D关节特征，我们首先从骨干CNN中提取全局特征$\mathcal{F}$。受[^29]中位置编码的启发，我们通过将关节和网格顶点的初始MANO 3D坐标附加到图像级特征向量$\mathcal{F}$上来编码位置信息，从而得到新的关节特征矩阵$\mathcal{F}_J \in \mathbb{R}^{2051 \times K}$和新的顶点特征矩阵$\mathcal{F}_V \in \mathbb{R}^{2051 \times V}$。初始MANO 3D坐标是通过向MANO模型输入姿态和形状的零向量获得的。与传统仅依赖自注意力机制的Transformer方法不同，我们还通过交叉注意力模块利用3D关节与3D顶点之间的相关性。在我们的交叉注意力模块中，我们将3D顶点特征作为查询，将3D关节特征作为键和值，以建模它们之间的相关性。用$S_{cross} \in \mathbb{R}^{V \times K}$表示相关图，我们有 $$ S_{c r o s s}=s o f t m a x\left(\frac{q_{c r o s s}k_{c r o s s}^{T}}{\sqrt{d_{c r o s s}}}\right) $$ 其中，$q_{cross} = W_q \mathcal{F}_V$ 和 $k_{cross} = W_k \mathcal{F}_J$ 分别表示查询嵌入和键嵌入。$d_{cross}$ 表示键 $k_{cross}$ 的特征维度。交叉注意力模块的输出计算方式为 $\mathcal{F}_{cross} = W_v \mathcal{F}_J S_{cross}$。$W_q, W_k, W_v \in \theta$ 是用于查询、键和值嵌入的可训练参数。我们进一步在 $\mathcal{F}_{cross}$ 与主要特征 $\mathcal{F}_V$ 之间添加残差连接，从而保留网格顶点回归所需的关键信息。 在我们的自注意力模块中，我们通过引入 $q_{self}$ 从 $k_{self}$ 中提取查询 $v_{self}$、键 $\mathcal{F}_{V}$ 和值 $W_{q'}, W_{k'}, W_{v'}$。在 $q_{self}$ 与 $k_{self}$ 进行矩阵乘法后，我们使用 softmax 生成相关图。 $$ S_{{s e l f}}={s o f t m a x}\left(\frac{q_{{s e l f}}k_{{s e l f}}^{T}}{\sqrt{d_{{s e l f}}}}\right), $$ 其中，自注意力模块的输出计算方式为 $\mathcal{F}_{self} = W_{v'} \mathcal{F}_J S_{cross}$。我们在 $\mathcal{F}_{self}$ 与前一交叉注意力模块的输出特征 $\mathcal{F}_{cross}$ 之间添加残差连接。最后，采用两层 MLP 来估计 $\mu$ 和 $\sigma$，用以表示网格顶点 3D 坐标的高斯概率分布。 #### 3.4. 遮挡感知型手部纹理回归 由于其在沉浸式虚拟现实中的重要应用，手部纹理估计近年来受到了更多关注。 --- ![Image](images/5a611d8cfd4f237699382b352b1ec28229b26889109e0f5a9dbc6c39df83fb71.jpg)
Figure 4. The Occlusion-aware Hand Texture Regression module.
然而，现有的手部纹理模型无法生成高保真度的手部纹理，也无法感知遮挡情况。为解决上述问题，我们提出了遮挡感知型手部纹理回归方法。如图 4 所示，我们回归每个顶点的 RGB 值以表示手部纹理。为实现这一目标，我们首先利用光栅化器来建立世界坐标与相机像素坐标之间的映射关系。在光栅化过程中，首先由我们的 AMVUR 模型预测顶点，据此创建用于表征手部表面的流形三角网格。随后将所有三角形投影到二维空间，同时保留光栅化操作中的重心坐标和三角形 ID 等逐像素辅助数据。我们检索可见三角形的 ID，并通过查找每个可见三角形的三个顶点来创建二值遮挡掩码。与传统渲染中的插值方式不同——后者将顶点数据从 3D 空间扩展到像素空间，我们提出的反向插值则是从像素空间构建 3D 空间的顶点数据。在顶点处提取的特征 $V_{2D}^{m}$ 为 $$ \begin{align*}{\cal H}_m={\cal B}\left(V^m_{2D},{\cal F}\|{{\cal F}_{map}}\|V^m_{3D}\right),\end{align*} $$ 其中，$\mathcal{B}(V, X)$ 通过双线性插值对张量 X 中投影得到的 2D 点 V 进行插值。$\mathcal{F}_{map}$ 是从骨干 CNN 的浅层提取的特征图，它保留了丰富的像素级信息。$\|$ 表示拼接操作。之后，3D 顶点特征 $\mathcal{H}_m$ 被送入公式 10 中描述的自注意力层，随后通过常规插值生成 2D 渲染的手部图像。我们采用了来自 [^30] 的可微光栅化和插值技术，从而使我们的遮挡感知型纹理回归模型能够以端到端的方式训练。用于训练该纹理回归模型的损失函数为 $$ \mathcal{L}_{{t e x}}=\|I_{{r e n d}}\odot\mathcal{M}-I\odot\mathcal{M}\|_{2}, $$ 其中，$I_{rend}$ 是我们纹理回归模型的输出图像，$\odot$ 表示逐元素乘法。M 是一个 2D 二值遮挡矩阵，用于指示纹理图中对应的手部区域，该矩阵由我们的光栅化过程生成。 ### 4. 实验 我们在三个广泛用于从单张RGB图像进行3D手部重建的数据集上评估了我们的方法：HO3Dv2 [^22]、HO3Dv3 [^23] 和 FreiHAND [^24]。我们从两种场景——监督训练和弱监督训练——来评估我们方法的性能。我们在HO3Dv2和HO3Dv3数据集上的结果是通过在线评估系统匿名提交的。$^{12}$ 我们还通过消融实验来评估所提出方法中各个组件的重要性。 #### 4.1. 数据集 HO3Dv2 [^22] 是一个包含大量遮挡情况的手部-物体交互数据集。该数据集包含来自68个序列的77,558张图像，其中66,034张图像（来自55个序列）用于训练，11,524张图像（来自13个序列）用于测试。每张图像展示的是10名受试者中某一人操作10个物体中某一个的场景。 HO3Dv3 [^23] 是最近发布的一个手部-物体交互数据集，与HO3Dv2相比，它拥有更多图像且标注更精确。该数据集包含103,462张带有手部-物体3D姿态标注的RGB图像，其中83,325张用于训练，20,137张用于测试。 #### 4.2. 评估指标与实现细节 评估指标。为了定量评估我们的3D手部重建效果，我们报告估计的3D关节/网格与真实值之间的平均欧几里得距离（单位：毫米，即MPJPE/MPVPE），以及它们在0毫米到50毫米阈值范围内的正确关键点百分比（PCK）曲线下面积（$AUC_J/AUC_v$）。对于3D网格，我们还分别根据$F_5$和$F_{15}$的报告，给出在5毫米和15毫米距离阈值下的顶点F分数。遵循以往的研究 [^9] [^10] [^13] [^14]，我们在Procrustes对齐后报告3D指标。 实现细节。所有实验均在两张NVIDIA GeForce RTX 3090 Ti GPU上进行。我们使用Adam优化器 [^36] 来训练网络，批量大小为32。在所有监督实验中，我们采用ResNet50 [^37] 作为主干CNN，这一做法参考了 [^11] [^14] [^16] [^26] [^32] [^35]。在弱监督设置中，我们采用EfficientNet-B0 [^38] 作为主干网络，这一做法参考了 [^13]。我们分别从主干模型的第一层卷积层和分类层之前的最后一层全连接层提取浅层特征 $\mathcal{F}_{map}$ 和全局特征 $\mathcal{F}$。代码已在GitHub上公开：。 ---
Table 1. Hand reconstruction performance compared with SOTA methods on HO3Dv2 after Procrustes alignment. [^31] $^{*}$ develops a synthetic dataset with 1520 poses and 216 viewpoints during training to overcome the long-tailed distribution of hand pose and viewpoint.
Training SchemeMethodCategoryAUC_J \uparrowMPJPE\downarrowAUC_V \uparrowMPVPE\downarrowF_5 \uparrowF_{15} \uparrow
SupervisedLiu et al. [^26]Model-based0.8039.90.8109.50.5280.956
HandOccNet [^14]Model-based0.8199.10.8198.80.5640.963
I2UV-HandNet [^32]Model-based0.8049.90.79910.10.5000.943
Hampali et al. [^22]Model-based0.78810.70.79010.60.5060.942
Hasson et al. [^33]Model-based0.78011.00.77711.20.4640.939
ArtiBoost [^34]Model-based0.77311.40.78210.90.4880.944
Pose2Mesh [^11]Model-free0.75412.50.74912.70.4410.909
I2L-MeshNet [^35]Model-free0.77511.20.72213.90.4090.932
METRO [^12]Model-free0.79210.40.77911.10.4840.946
Chen et al. [^31] $^{{*}}$Model-free-9.2-9.40.5380.957
Keypoint Trans [^16]Model-free0.78610.8----
Ours(prior-net)Model-based0.78310.90.7711.50.4600.936
Ours(AMVUR)Model-free0.8149.30.8139.40.5330.958
Ours(final)Probabilistic0.8358.30.8368.20.6080.965
Weakly-Supervised$S^2$ HAND [^13]Model-based0.765-0.769-0.440.93
Ours(prior-net)Model-based0.75212.40.76012.00.4170.925
Ours(AMVUR)Model-free0.77810.80.69815.10.3750.907
Ours(final)Probabilistic0.78710.30.78410.80.480.949
Table 2. Hand reconstruction performance compared with SOTA methods on HO3Dv3 dataset after Procrustes alignment.
Training SchemeMethodCategory$AUC_{{J\uparrow}}$MPJPE $\downarrow$$AUC_{{V\uparrow}}$MPVPE $\downarrow$$F_{{b\uparrow}}$$F_{{15\uparrow}}$
SupervisedArtiBoost [^34]Model-based0.78510.80.79210.40.5070.946
Keypoint Trans [^16]Model-free0.78510.9----
Ours(prior-net)Model-based0.78011.30.78111.00.4710.931
Ours(AMVUR)Model-free0.8039.80.8119.70.5280.953
OursProbabilistic0.8268.70.8348.30.5930.964
Weakly-Supervised$S^{2}$HAND [^13]Model-based0.76911.50.77811.10.4480.932
Ours(prior-net)Model-based0.75912.10.76311.90.4220.921
Ours(AMVUR)Model-free0.77810.90.72413.60.4030.904
Ours(final)Probabilistic0.78910.50.78510.70.4750.944
#### 4.3. 与现有最先进方法的比较 我们在对HO3Dv2和HO3Dv3数据集的结果应用Procrustes对齐后，分别在表1和表2中对比了我们的监督学习方法和弱监督学习方法与现有最先进方法的效果。关于FreiHAND数据集的结果，我们已在补充材料中给出。我们在所提出模型的三种设置下开展实验：(1) Ours(prior-net)，即单独训练MANO先验模型；(2) Ours(AMVUR)，即单独训练所提出的基于注意力的网格顶点不确定性回归模块；(3) Ours(final)，即将MANO先验网络与AMVUR联合训练。如表1和表2所示，无论在监督学习还是无监督学习场景下，我们的概率方法在所有指标上均取得了最佳结果。在弱监督学习场景下，我们的方法不仅比其他最先进的弱监督学习方法表现更优，甚至还超过了某些监督学习方法，比如[^11]和[^35]。有趣的是，尽管在监督训练方案中，我们的AMVUR模型的表现优于其他最先进的无模型方法[^11]、[^12]和[^32]，但由于网格重建的解空间变大，其在弱监督训练方案中的贡献反而更低。Procrustes对齐前的评估结果详见补充材料。图 ![Image](images/28cfffe7cf0432002f39a1413332b1cd89c0ec4381b9a7eb74a18375b2f46428.jpg)
Figure 5. Qualitative comparison of the proposed models and SOTA 3D hand mesh estimation methods HandOccNet [^14] and $S^{2}HAND$ [^13] on HO3Dv2.
Table 3. Impacts of loss terms in the supervised training scheme on HO3Dv2 dataset after Procrustes alignment.
Loss termsMPJPE $\downarrow$MPVPE $\downarrow$$F_{{5}}$ $\uparrow$$F_{{15}}$ $\uparrow$
$\mathcal{L}_{V_{{3D}}}$$\mathcal{L}_{J_{{3D}}}$$\mathcal{L}_{C}$$\mathcal{L}_{J_{{2D}}}$
✓9.78.40.5960.960
✓✓8.58.30.6050.964
✓✓✓8.68.30.6060.963
✓✓✓✓8.38.20.6080.965
5显示，在HO3Dv2数据集上，我们的概率模型生成的手部姿态和形状比其他最先进方法更为精确。即便有些手部存在严重遮挡情况，我们的概率模型仍能产生更好的结果。 ---
Table 4. Impacts of loss terms in the weakly-supervised training scheme on HO3Dv2 dataset after Procrustes alignment.
Loss termsMPJPE $\downarrow$MPVPE $\downarrow$$F_{{5}}$ $\uparrow$$F_{{15}}$ $\uparrow$
$\frac{\mathcal{L}_{J_{{2D}}}}{}$$D_{{KL}}^{{C}}$$D_{{KL}}^{{V_{{3D}}}}$$D_{{KL}}^{{J_{{3D}}}}$
✓11.911.80.4340.931
✓✓11.611.50.4420.935
✓✓✓11.111.00.460.947
✓✓✓✓10.310.80.480.949
#### 4.4. 消融研究 为了验证每个所提出组件的影响，我们在HO3Dv2数据集上开展了大量的消融实验。 #### 4.4.1 各损失项的作用 表3展示了监督训练方案下的消融研究结果，从中可以清晰看出$\mathcal{L}_{V3D}$和$\mathcal{L}_{J3D}$对3D网格重建的重要贡献。不难发现，$\mathcal{L}_C$和$\mathcal{L}_{J2D}$对监督训练方案中的性能提升并无显著作用，因为它们的目的是辅助学习2D投影和渲染。与监督训练方案不同，在弱监督训练场景下，我们仅利用2D关节标注来重建手部网格。因此，表4中的基线模型仅使用$\mathcal{L}_{J2D}$，不引入任何其他约束或先验知识。如表4所示，使用$D_{KL}^C$、$D_{KL}^{V3D}$和$D_{KL}^{J3D}$后，所有指标均得到持续改善，充分体现了它们的优势。具体而言，$D_{KL}^{V3D}$和$D_{KL}^{J3D}$分别显著提升了网格重建（MPVPE、$F_5$和$F_{15}$）以及关节重建（MPJPE）的效果。 #### 4.4.2 AMVUR模型分析 在回归3D顶点坐标方面，一种简单的方法是直接在CNN骨干网络之上使用全连接层来回归顶点坐标。在表5的实验A中，我们通过用全连接层替换AMVUR来构建基线模型，以估计顶点的概率分布。从表5可以看出，AMVUR的性能明显优于这种设计，这证明了在回归过程中捕捉关节与网格顶点之间相关性的重要性。我们在实验B、C、D中分别评估了AMVUR的各个主要组件，即交叉注意力、自注意力和位置编码。在实验B和C中，所有标记都采用传统Transformer中的索引方式来描述其位置。我们发现，交叉注意力和自注意力对性能提升至关重要；而位置编码进一步提高了我们方法的性能。 #### 4.4.3 纹理估计模型的比较 为了定量评估估计出的手部纹理的质量，我们使用SSIM [^39]和PSNR [^40]指标对手部区域进行评估。
Table 5. Analysis of the AMVUR.
Exp.SetupMPJPE $\downarrow$MPVPE $\downarrow$$F_{{5}}$ $\uparrow$$F_{{15}}$ $\uparrow$
ABaseline11.411.40.4620.932
BSelf-attention10.510.90.4960.948
CB+Cross-attention8.98.70.5810.958
DC+Positional8.38.20.6080.965
![Image](images/1da8de7afa6532fd9a62002423243bec3c9e001e4ff79eff8f574ed9c7ef6b22.jpg)
Figure 6. Qualitative comparison of our proposed model and SOTA texture regression model $S^{2}$HAND [^13] on HO3Dv2.
Table 6. Quantitative comparison of our model and SOTA texture regression model $S^{2}$HAND [^13] on HO3Dv2.
MethodPSNR $\uparrow$SSIM $\uparrow$
$S^{2}HAND$ [^13]27.80.973
Ours41.70.994
与$S^{2}$HAND [^13]不同，我们提出了一种更智能的策略，通过结合全局特征与浅层特征来回归手部纹理，这一策略在表6中展现出了更好的SSIM和PSNR性能。从图6可以看出，$S^{2}$HAND [^13]的结果缺乏细节，且与输入图像的颜色差异较大；相比之下，我们的方法在重建高保真手部纹理方面能力更强。 ### 5. 结论 在本文中，我们提出了一种用于从单张RGB图像重建3D手部的新型概率模型，该模型即便在严重遮挡的情况下，也能准确重建3D关节、网格顶点以及手部纹理。我们的方法包含多项创新点，其中包括AMVUR方法——它减轻了MANO模型对庞大参数空间的依赖，从而实现更精确的重建。该方法通过我们的prior-net进行训练，并引入了注意力机制来捕捉3D空间中关节与网格顶点之间的相关性。实验表明，我们提出的概率模型在完全监督和弱监督训练场景下均达到了最先进的精度。此外，我们还提出了一种考虑遮挡因素的手部纹理回归模型，以实现精确的纹理重建。 致谢：本研究得到了欧洲研究理事会资助，该项目属于欧盟“地平线2020”研究与创新计划（授权号：787768）。 --- ## 参考文献 [^1]: N. Conci, P. Ceresato, and F. G. De Natale, “Natural human-machine interface using an interactive virtual blackboard,” in 2007 IEEE International Conference on Image Processing, vol. 5, pp. V–181, IEEE, 2007. 1 [^2]: R. Yin, D. Wang, S. Zhao, Z. Lou, and G. Shen, "Wearable sensors-enabled human-machine interaction systems: from design to application," Advanced Functional Materials, vol. 31, no. 11, p. 2008936, 2021. 1 [^3]: S. Jung and C. E. Hughes, “Body ownership in virtual reality,” in 2016 International Conference on Collaboration Technologies and Systems (CTS), pp. 597–600, IEEE, 2016. 1, 2 [^4]: J. Wang, F. Mueller, F. Bernard, S. Sorli, O. Sotnychenko, N. Qian, M. A. Otaduy, D. Casas, and C. Theobalt, "Rgb2hands: real-time tracking of 3d hand interactions from monocular rgb video," ACM Transactions on Graphics (ToG), vol. 39, no. 6, pp. 1–16, 2020. 1 [^5]: S. Han, B. Liu, R. Cabezas, C. D. Twigg, P. Zhang, J. Petkau, T.-H. Yu, C.-J. Tai, M. Akbay, Z. Wang, et al., “Megatrack: monochrome egocentric articulated hand-tracking for virtual reality,” ACM Transactions on Graphics (ToG), vol. 39, no. 4, pp. 87–1, 2020. 1 [^6]: F. Mueller, M. Davis, F. Bernard, O. Sotnychenko, M. Verschoor, M. A. Otaduy, D. Casas, and C. Theobalt, “Real-time pose and shape reconstruction of two interacting hands with a single depth camera,” ACM Transactions on Graphics (ToG), vol. 38, no. 4, pp. 1–13, 2019. 1 [^7]: X. Liang, A. Angelopoulou, E. Kapetanios, B. Woll, R. Al Batat, and T. Woolfe, “A multi-modal machine learning approach and toolkit to automate recognition of early stages of dementia among British sign language users,” in European Conference on Computer Vision, pp. 278–293, Springer, 2020. 1 [^8]: N. Kolotouros, G. Pavlakos, and K. Daniilidis, “Convolutional mesh regression for single-image human shape reconstruction,” in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 4501–4510, 2019. 1, 2 [^9]: L. Ge, Z. Ren, Y. Li, Z. Xue, Y. Wang, J. Cai, and J. Yuan, “3d hand shape and pose estimation from a single rgb image,” in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 10833–10842, 2019. 1, 3, 5, 6 [^10]: D. Kulon, R. A. Guler, I. Kokkinos, M. M. Bronstein, and S. Zafeiriou, “Weakly-supervised mesh-convolutional hand reconstruction in the wild,” in Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pp. 4990–5000, 2020. 1, 2, 3, 5, 6 [^11]: H. Choi, G. Moon, and K. M. Lee, “Pose2mesh: Graph convolutional network for 3d human pose and mesh recovery from a 2d human pose,” in European Conference on Computer Vision, pp. 769–787, Springer, 2020. 1, 2, 6, 7 [^12]: K. Lin, L. Wang, and Z. Liu, “End-to-end human pose and mesh reconstruction with transformers,” in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 1954–1963, 2021. 1, 2, 4, 7 [^13]: Y. Chen, Z. Tu, D. Kang, L. Bao, Y. Zhang, X. Zhe, R. Chen, and J. Yuan, “Model-based 3d hand reconstruction via self-supervised learning,” in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 10451–10460, 2021. 1, 2, 3, 4, 5, 6, 7, 8 [^14]: J. Park, Y. Oh, G. Moon, H. Choi, and K. M. Lee, “Handoccnet: Occlusion-robust 3d hand mesh estimation network,” in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 1496–1505, 2022. 1, 2, 3, 4, 5, 6, 7 [^15]: A. Boukhayma, R. d. Bem, and P. H. Torr, “3d hand shape and pose from images in the wild,” in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 10843–10852, 2019. 1, 2 [^16]: S. Hampali, S. D. Sarkar, M. Rad, and V. Lepetit, “Keypoint transformer: Solving joint identification in challenging hands and object interactions for accurate 3d pose estimation,” in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 11090–11100, 2022. 1, 2, 6, 7 [^17]: J. Romero, D. Tzionas, and M. J. Black, “Embodied hands: Modeling and capturing hands and bodies together,” ACM Transactions on Graphics, vol. 36, no. 6, 2017. 1, 2, 4 [^18]: A. Spurr, U. Iqbal, P. Molchanov, O. Hilliges, and J. Kautz, “Weakly supervised 3d hand pose estimation via biomechanical constraints,” in European Conference on Computer Vision, pp. 211–228, Springer, 2020. 1, 2 [^19]: M. de La Gorce, N. Paragios, and D. J. Fleet, “Model-based hand tracking with texture, shading and self-occlusions,” in 2008 IEEE Conference on Computer Vision and Pattern Recognition, pp. 1–8, IEEE, 2008. 2 [^20]: A. Tkach, A. Tagliasacchi, E. Remelli, M. Pauly, and A. Fitzgibbon, “Online generative model personalization for hand tracking,” ACM Transactions on Graphics (ToG), vol. 36, no. 6, pp. 1–11, 2017. 2 [^21]: J. Taylor, V. Tankovich, D. Tang, C. Keskin, D. Kim, P. Davidson, A. Kowdle, and S. Izadi, “Articulated distance fields for ultra-fast tracking of hands interacting,” ACM Transactions on Graphics (TOG), vol. 36, no. 6, pp. 1–12, 2017. 2 [^22]: S. Hampali, M. Rad, M. Oberweger, and V. Lepetit, “Honnimate: A method for 3d annotation of hand and object poses,” in Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pp. 3196–3206, 2020. 2, 6, 7 [^23]: S. Hampali, S. D. Sarkar, and V. Lepetit, “Ho-3d_v3: Improving the accuracy of hand-object annotations of the ho-3d dataset,” arXiv preprint arXiv:2107.00887, 2021. 2, 6 ## [^24]: C. Zimmermann, D. Ceylan, J. Yang, B. Russell, M. Argus, and T. Brox, “Freihand: A dataset for markerless capture of hand pose and shape from single rgb images,” in Proceedings --- IEEE/CVF国际计算机视觉会议论文集，第813–822页，2019年。2, 6 [^25]: X. Zhang, Q. Li, H. Mo, W. Zhang, and W. Zheng, “End-to-end hand mesh recovery from a monocular rgb image,” in Proceedings of the IEEE/CVF International Conference on Computer Vision, pp. 2354–2364, 2019. 2 [^26]: S. Liu, H. Jiang, J. Xu, S. Liu, and X. Wang, “Semisupervised 3d hand-object poses estimation with interactions in time,” in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 14687–14697, 2021. 2, 6, 7 [^27]: N. Qian, J. Wang, F. Mueller, F. Bernard, V. Golyanik, and C. Theobalt, "Html: A parametric hand texture model for 3d hand reconstruction and personalization," in European Conference on Computer Vision. pp. 54–71. Springer. 2020. 2 [^28]: H. Dai, N. Pears, W. A. Smith, and C. Duncan, “A 3d morphable model of craniofacial shape and texture variation,” in Proceedings of the IEEE international conference on computer vision, pp. 3085–3093, 2017. 2 [^29]: A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit, L. Jones, A. N. Gomez, L. Kaiser, and I. Polosukhin, “Attention is all you need,” Advances in neural information processing systems, vol. 30, 2017. 5 [^30]: S. Laine, J. Hellsten, T. Karras, Y. Seol, J. Lehtinen, and T. Aila, “Modular primitives for high-performance differentiable rendering,” ACM Transactions on Graphics (TOG), vol. 39, no. 6, pp. 1–14, 2020. 6 [^31]: X. Chen, Y. Liu, Y. Dong, X. Zhang, C. Ma, Y. Xiong, Y. Zhang, and X. Guo, “Mobrecon: Mobile-friendly hand mesh reconstruction from monocular image,” in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 20544–20554, 2022. 7 [^32]: P. Chen, Y. Chen, D. Yang, F. Wu, Q. Li, Q. Xia, and Y. Tan, “I2uv-handnet: Image-to-uv prediction network for accurate and high-fidelity 3d hand mesh modeling,” in Proceedings of the IEEE/CVF International Conference on Computer Vision, pp. 12929–12938, 2021. 6, 7 [^33]: Y. Hasson, G. Varol, D. Tzionas, I. Kalevatykh, M. J. Black, I. Laptev, and C. Schmid, “Learning joint reconstruction of hands and manipulated objects,” in Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pp. 11807–11816, 2019. 7 [^34]: L. Yang, K. Li, X. Zhan, J. Lv, W. Xu, J. Li, and C. Lu, “Artiboost: Boosting articulated 3d hand-object pose estimation via online exploration and synthesis,” in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 2750–2760, 2022. 7 [^35]: G. Moon and K. M. Lee, “I2l-meshnet: Image-to-lixel prediction network for accurate 3d human pose and mesh estimation from a single rgb image,” in European Conference on Computer Vision, pp. 752–768, Springer, 2020. 6,7 [^36]: D. P. Kingma and J. Ba, “Adam: A method for stochastic optimization,” arXiv preprint arXiv:1412.6980, 2014. 6 [^37]: K. He, X. Zhang, S. Ren, and J. Sun, “Deep residual learning for image recognition,” in Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 770–778, 2016. 6 [^38]: M. Tan and Q. Le, “Efficientnet: Rethinking model scaling for convolutional neural networks,” in International conference on machine learning, pp. 6105–6114, PMLR, 2019. 6 [^39]: Z. Wang, A. C. Bovik, H. R. Sheikh, and E. P. Simoncelli, “Image quality assessment: from error visibility to structural similarity,” IEEE transactions on image processing, vol. 13, no. 4, pp. 600–612, 2004. 8 [^40]: A. Hore and D. Ziou, “Image quality metrics: Psnr vs. ssim,” in 2010 20th international conference on pattern recognition, pp. 2366–2369, IEEE, 2010. 8