# HandDGP：基于可微全局定位的相机空间手部网格预测
Eugene Valassakis $^{*}$，Guillermo Garcia-Hernando
Niantic
摘要。从单张RGB图像中预测相机空间的手部网格，对于在3D虚拟和增强现实世界中实现逼真的手部交互至关重要。以往的研究通常将这一任务分为两个阶段：给定裁剪后的手部图像，先预测相对坐标下的网格，再在独立的阶段将这些预测结果转换到相机空间，这一过程往往会导致宝贵的上下文信息和尺度信息的丢失。为防止这些线索的丢失，我们提出将这两个阶段统一为端到端的解决方案，以解决2D-3D对应关系问题。该方案通过全新的可微全局定位模块，实现了从相机空间输出到网络其余部分的反向传播。我们还引入了图像校正步骤，使训练数据集和输入图像能够像是由同一台相机采集的一样，从而缓解该问题固有的尺度-深度歧义。我们在三个公开基准测试集上，针对多种基线方法和最先进的方法进行了评估，验证了所提框架的有效性。
关键词：相机空间手部网格估计 · 基于RGB图像的手部和身体姿态形状恢复 · 3D到2D的尺度歧义 · 可微求解器
## 1 引言
由于其在增强现实和虚拟现实应用中的潜力，从单视角RGB图像中预测3D手部网格已成为一个日益热门的研究领域，这类应用包括虚拟试穿体验[^49]、人体数字化[^16]、游戏[^22]以及远程操控[^1] [^18]。尽管近期取得了进展，但由于手部具有关节结构、存在自遮挡现象、标注难度大，以及存在2D到3D的尺度和深度歧义等问题，相关挑战依然存在[^3] [^52]。
由于存在这些挑战，以往的大多数研究都侧重于预测高质量的以根节点为参考的手部网格，即以预定义的根关节（如手腕）为参照的3D手部网格[^14]，而非预测全局相机空间下的网格。在最终显示于2D图像的应用场景（如虚拟试穿体验）中，基于相机投影模型的根节点参考预测结果[^4] [^8] [^29] [^54]或许已经足够。然而，在3D虚拟和增强现实世界中的交互场景下，相机空间的预测结果至关重要，例如游戏应用，以及使用混合现实头戴设备时的办公场景[^2] [^37]。
---
Fig. 1: Method overview: Through our Differentiable Global Positioning module (DGP) which predicts the root translation of the hand, our method is able to back-propagate through the root-finding operation, enabling an end-to-end solution.
对于需要3D相机空间手部网格的任务，主流做法是先获取以根部为参考的手部网格，再通过独立的过程将其预测结果转换到相机空间的3D坐标。例如，Iqbal等人[^28]和Zhang等人[^55]在相对2.5D空间中输出预测结果，再通过解析方式推导出全局坐标（包含缩放信息）。Moon等人[^40]和Tang等人[^49]采用类似的相对表示法，借助名为RootNet的独立网络[^39]来预测相机空间坐标。CMR[^15]和MobRecon[^14]则利用2D到3D的对应关系，先预测2D关键点和3D根部相关网格，再通过独立的测试时优化过程找出能最好解释网格投影的3D刚体变换。同样，HandOccNet[^41]也通过测试时优化来最小化2D投影损失，从而预测缩放参数和根部平移量。所有这些方法都将学习阶段限定在相对空间内，从而能以高效率生成最先进的相对网格，但在将手部定位到相机空间方面却表现欠佳，我们的实验也证实了这一点。
我们提出一种两全其美的方案：以端到端的方式同时学习根部相关网格和3D坐标转换函数。为此，我们提出了可微全局定位（DGP）模块，这是对经典的直接线性变换算法的现代化改进[^23]。DGP能够将梯度直接从相机空间输出反向传播至由2D关键点预测结果和根部相关3D手部网格定义的2D-3D对应关系上。由于具备可微特性，DGP也有可能被整合到任何预测2D手部关键点和根部相关3D手部网格的手部网格预测神经网络的学习过程中，比如CMR[^15]和MobRecon[^14]。实验表明，允许梯度从相机空间流经根部相关网络后，得到的全局手部网格预测效果优于分步式的两阶段方法——比如使用RootNet[^39]或测试时优化方法，也优于端到端回归基线模型。
---
这种基线模型会同时预测相机空间平移量和相对预测结果。此外，受近期基于度量的3D场景几何预测研究的启发[^51]，我们的实验发现简单的图像与相机参数校正步骤有助于缓解固有的2D到3D深度及缩放歧义问题。其核心思路是：将所有学习过程视为图像是由同一相机模型拍摄的，从而减少网络需要解决的歧义性。虽然这种方法能提升相机空间预测性能，但会导致相对空间预测的性能略有下降。我们详细研究了这一校正步骤对我们所提方法以及基线模型的影响。总而言之，我们的贡献如下：
– 我们提出了HandDGP，这是一个灵活的框架，能够以端到端方式统一根部相关网格和相机空间手部网格的学习过程。
我们指出并强调了图像校正在缓解相机空间手部网格预测问题中2D到3D深度及缩放歧义方面的重要性。
我们对解决相机空间手部网格预测问题的各种设计方案进行了广泛的实验评估，旨在推动该领域的研究。以往的研究往往更关注基于根部坐标的预测，而相对忽视了这一方向。
## 2 相关工作
相机空间3D手部网格预测。以往大多数基于单目RGB图像的相机空间3D手部网格与姿态估计研究都采用两阶段方法：（1）第一阶段预测基于根部坐标的手部网格/姿态；（2）第二阶段将基于根部坐标的结果转换为相机空间坐标。在单目3D手部姿态估计方面，Iqbal等人[^28]在2.5D根部坐标空间中进行预测，随后通过解析解将这些预测结果转换为3D相机空间预测值。不过这一结果存在缩放因子差异，为解决尺度歧义问题，需要额外的尺度参数，该参数要么由[^48]提供，要么从数据中全局估算得出。I2L-MeshNet[^40]提出了一种回归方法，用于恢复基于根部坐标的2.5D网格，随后通过单独的网络RootNet[^39]将其转换到相机空间，该网络利用人体测量学先验知识来减少尺度歧义[^34]。NFV[^26]提出了一种基于神经投票的方法，利用3D隐式函数直接从完整图像中回归出相机空间的3D手部姿态。NFV采用Marching Cubes后处理方法来预测网格，这降低了效率，而且其预测的顶点缺乏语义映射，而这对某些应用而言至关重要。Hasson等人[^24]利用手部和物体的线索来预测物体与手部的相机空间位移，但他们对便于尺度恢复的物体几何形状做了假设。与我们工作最为接近的是CMR[^15]、MobRecon[^14]和HandOccNet[^41]，它们首先预测2D关键点和基于根部坐标的3D网格，再通过测试时的配准函数来获取3D相机空间坐标，该函数用于估算根部位置。该函数通常旨在找到能使手部网格最佳投影到2D输入图像上的3D刚性变换，该变换是基于2D手部关键点与3D网格关键点之间的对应关系得出的。
---
我们的方法基于这种2D-3D范式，关键区别在于采用了可微分的配准函数，使我们能够以端到端的方式直接在相机空间中训练网格网络。我们在第4.3节中将我们的工作与[14, 15, 24, 26, 39–41]中的方法进行比较，发现我们的方法在相机空间预测方面优于这些最先进的方法。
基于根坐标的3D手部网格预测。针对基于RGB的单目手部网格重建，已经提出了多种方法，这些方法采用不同的手部输出表示形式，例如参数化模型、体素、顶点、隐式函数或UV贴图 [^13]。参数化模型 [^4] [^5] [^8] [^10] [^15] [^17] [^21] [^25] [^53] 通常会回归MANO参数化手部模型的形状与姿态系数 [^46]。这些方法本质上受到所用模型表达能力的限制。无模型方法通过处理高维表示来规避这些限制，比如基于体素的方法（如I2L-MeshNet [^40]），它以牺牲效率为代价以2.5D方式表示体积手部数据。同样通常受效率限制但能实现高分辨率的隐式函数方法 [^26] [^30] [^31]，它们继承了人体数字化开创的趋势 [^6] [^26] [^38] [^43] [^47]。基于顶点的方法 [^14] [^15] [^19] [^32] [^35] [^36] [^41] 旨在直接预测3D顶点坐标。在本研究中，我们基于MobRecon框架 [^14] 进行拓展，采用其流程：先通过编码器-解码器架构预测2D关键点，再利用这些关键点对特征进行网格采样，最后通过图神经网络解码器将其提升至基于根坐标的3D表示。由于我们提出了可微分的全局定位函数，因此改为在相机空间中学习。第4.1节中我们将展示，我们的方法显著改善了 [^14] 在相机空间中的预测效果。
可微分对应求解器。利用2D-2D或2D-3D对应关系求解未知几何量，长期以来一直是计算机视觉领域的核心课题 [^23] [^44]。随着深度学习的兴起，多项研究尝试将这些经典的几何与代数解法整合到深度学习流程中 [^7] [^9] [^11] [^12] [^45] [^50]。典型的例子包括：(1) Chen等人 [^11] 提出了一个可微分的透视-点（PnP）求解器，并在姿态估计、相机标定等各类问题中验证了它的有效性；Remelli等人 [^45] 则利用可微分的直接线性变换（DLT）实现方式来进行多视角人体姿态估计。我们针对手部网格推断场景下的求根问题推导出了DLT解决方案，并证明它可以以可微分的方式实现，进而集成到用于相机空间手部网格预测的端到端流程中。
---
Fig. 2: HandDGP Framework Overview. Rectified images are passed through our framework, which predicts camera-space coordinates using our proposed DGP module.
## 3 所提出的框架
概述。如图2所示，我们方法的核心思想是利用问题的几何特性，将手部求根过程整合到可微分的流程中，从而直接在3D相机空间坐标下预测手部网格。
预测以根部为基准的手部网格。从一张RGB图像$\mathbf{I} \in \mathbb{R}^{H \times W \times 3}$出发，我们首先预测一组2D关键点$\mathbf{K}^{2D} = \{k_i^{2D}\}_{i=1}^{N_K}$（可以是关节或其他标志点）、一组以根部为基准的3D顶点$\mathbf{V}^{rel} = \{v_i^{rel}\}_{i=1}^{N_V}$，以及一组权重$\mathbf{W} = \{w_i\}_{i=1}^{N_K}$，这些权重表示对每个关键点预测结果的置信度。随后我们获得$\mathbf{K}^{3D} = \{k_i^{3D}\}_{i=1}^{N_K}$——即手部模型上对应于2D关键点$\mathbf{K}^{2D}$的一组以根部为基准的3D关键点。为了得到$\mathbf{K}^{3D}$，我们假设可以访问一个3D关键点回归器$\mathbf{J}_{reg} : \mathbf{V}^{rel} \to \mathbf{K}^{3D}$。$\mathbf{J}_{reg}$通常表现为一种矩阵形式，它定义了手部关键点作为网格顶点的线性组合，这种矩阵通常与常用的网格模型一同提供，例如用于手部的MANO [^46]和用于全身网格的SMPL [^42]。利用HandDGP寻找手部根部。我们的关键创新在于可微全局定位模块（简称DGP或定位模块），它利用以根部为基准的3D关键点$\mathbf{K}^{3D}$、2D关键点$\mathbf{K}^{2D}$以及权重$\mathbf{W}$来预测相机空间中的全局平移量$\mathbf{t} \in \mathbb{R}^3$，进而得到相机空间中的顶点预测结果$\mathbf{V}^{cs} = \{v_i^{cs}\}_{i=1}^{N_V}$。
$$ v_{i}^{c s}=v_{i}^{r e l}+\mathbf{t}. $$
最终，相机空间中的顶点预测结果可用于通过针孔相机透视投影将网格投影到2D平面上。这一流程使我们能够
---
将全局根部平移量及由此产生的网格投影结果纳入网络训练之中。以这种方式将根部预测纳入训练过程，可以避免在使用两个独立流程分别进行以根部为基准的预测和根部查找时产生的误差累积问题。最后需要说明：(1) 我们的方法不依赖于获取$\mathbf{V}^{rel}$、K和W预测结果的具体方法；(2) 恢复手部根部的任务等同于在相机空间中找到手部的全局平移量。因此，我们在文中会交替使用这两个术语。
### 3.1 可微全局定位
我们方法的核心是可微全局定位模块，它以$\mathbf{K}^{3D}$、$\mathbf{K}^{2D}$、$\mathbf{J}_{reg}$以及相机内参$\mathbf{\Lambda}$作为输入，并以可微的方式输出相机空间中的全局平移量$\mathbf{t}$。虽然我们的完整方法也考虑了关键点置信度$\mathbf{W}$，但为清晰起见，本节我们将假设关键点置信度相同，以此说明如何获得全局平移量。关于如何融入关键点置信度的内容将在3.2节中阐述。
为了以可微的方式获得全局平移量$\mathbf{t} = [\tau_x, \tau_y, \tau_z]^T$，我们基于直接线性变换（DLT）[^23] [^44]推导出了适用于本问题的解决方案。首先，根据设计，$\mathbf{K}^{\mathrm{3D}}$和$\mathbf{K}^{\mathrm{2D}}$为我们提供了一组2D-3D对应关系$\mathcal{M} = \{(k_i^{3D}, k_i^{2D})\}_{i=1}^{N_K}$，其中涉及$k_i^{3D} = [x_i, y_i, z_i]^T$和$k_i^{2D} = [u_i, v_i]^T$。此外需要注意的是，3D关键点$\mathbf{K}^{3D}$所处的坐标系与相机坐标系具有相同的朝向，仅缺少将根部为基准的关键点坐标映射到相机空间所需的全局根部平移量。假设采用具有内参$\mathbf{A}$的针孔相机模型，则投影方程可表示为：
$$ d_{i}\begin{bmatrix}u_{i}\\ v_{i}\\ 1\end{bmatrix}=\mathbf{\Lambda}\begin{bmatrix}100\\ 010\\ 001\end{bmatrix}\begin{matrix}\tau_{x}\\ \tau_{y}\\ \tau_{z}\end{matrix}\begin{bmatrix}x_{i}\\ y_{i}\\ z_{i}\\ 1\end{bmatrix}, $$
其中$d_{i}$表示第i个关键点的深度值。展开并重新排列后，可得到如下形式的线性方程组：
$$ \begin{bmatrix}-1&0&u_{i}^{\prime}\\ 0&-1&v_{i}^{\prime}\end{bmatrix}\begin{bmatrix}\tau_{x}\\ \tau_{y}\\ \tau_{z}\end{bmatrix}=\begin{bmatrix}x_{i}-z_{i}u_{i}^{\prime}\\ y_{i}-z_{i}v_{i}^{\prime}\end{bmatrix}, $$
其中
$$ \begin{bmatrix}u_{i}^{\prime}\\ v_{i}^{\prime}\\ 1\end{bmatrix}=\boldsymbol{\Lambda}^{-1}\begin{bmatrix}u_{i}\\ v_{i}\\ 1\end{bmatrix}. $$
### 由于方程3是在仅考虑单个关键点对应关系的前提下得出的，且其中包含三个未知数，因此该方程是欠约束的。利用我们对应关系集合中的所有关键点，就可以重新书写方程3。
---
我们的通信集合。方程3可以改写为
$$ \begin{aligned}\begin{bmatrix}-1&0&u_{1}^{\prime}\\0&-1&v_{1}^{\prime}\\&\vdots\\0&-1&v_{N_{K}}^{\prime}\end{bmatrix}\mathbf{t}&=\begin{bmatrix}x_{1}-z_{1}u_{1}^{\prime}\\y_{1}-z_{1}v_{1}^{\prime}\\\vdots\\y_{N_{K}}-z_{N_{K}}v_{N_{K}}^{\prime}\end{bmatrix},\end{aligned} $$
该方程的形式为 $\mathbf{A}\mathbf{t} = \mathbf{B}$。为了求解 $\mathbf{t}$，我们采用最小二乘解 $\mathbf{t}^* = \arg\min_{\mathbf{t}}||\mathbf{A}\mathbf{t} - \mathbf{B}||^2$ [^44]，该解可以通过闭式形式求得：
$$ \mathbf{t}^{*}=(\mathbf{A}^{T}\mathbf{A})^{-1}\mathbf{A}^{T}\mathbf{B}. $$
DGP模块首先利用网络输出构建矩阵 $\mathbf{A}$ 和 $\mathbf{B}$，然后利用线性最小二乘解来求解平移量。由于涉及的所有操作都是可微分的，我们可以利用这个平移量来获取相机空间中的顶点预测结果，并反向传播这些结果，从而将求根任务完全整合到端到端的训练流程中。
### 3.2 关键点选择
虽然第3.1节中提出的方案能够让我们把求根过程整合到端到端可微分的流程中，但它并未提供任何异常值过滤或关键点选择机制来剔除那些不确定性较高的对应关系。在手部出现遮挡或自遮挡的情况时，这可能会带来问题。在这种情况下，被遮挡的部分往往会导致关键点的位置不确定性更高，但在计算全局平移量时，它们却会与可见的关键点被同等对待。为解决这一问题，我们采用了一种加权变体方案。假设每个关键点对应关系都对应一个置信度评分 $w_i$——实际上该评分由我们的权重解码器生成——我们首先通过复制每个权重一次并将其放入对角矩阵 $\mathbf{W} = \text{diag}([w_1, w_1, w_2, w_2, \ldots, w_{N_K}, w_{N_K}])$ 中来构造一个权重矩阵。接着，我们考虑采用加权最小二乘最小化 $\mathbf{t}^* = \arg\min_{\mathbf{t}} \|\mathbf{W}(\mathbf{A}\mathbf{t} - \mathbf{B})\|^2$，其闭式解如下：
$$ \mathbf{t}^{*}=(\mathbf{A}^{T}\mathbf{W}^{2}\mathbf{A})^{-1}\mathbf{A}^{T}\mathbf{W}^{2}\mathbf{B}. $$
### 3.3 输入图像校正
## 受Yin等人关于单目3D几何估计的最新研究的启发 [^51]，其核心思路是建立一个规范的相机空间，并将所有训练数据转换到该空间中。在推理阶段，图像在进入网络前会先经过校正，随后预测结果会被映射回原始的相机空间。原始的相机参数由 $\{f, u_0, v_0\}$ 定义，其中f代表焦距（我们假设 $f_x = f_y = f$），而 $u_0$ 和 $v_0$ 为主点坐标。我们将输入图像 $\mathbf{I}$ 按照比例 $\omega_r = \frac{f^c}{f}$ 进行缩放，从而将相机参数转换为 $\{f^c, \omega_r, u_0, \omega_r, v_0\}$。与 [^51] 的研究不同，
---
由于研究对象是手部，我们进一步将主点校正为手部裁剪区域的中心，最终得到规范的 intrinsics 矩阵 $\Lambda$，它由 $\{f^c, H/2, W/2\}$ 定义，其中 $f^c$ 为规范焦距，校正后的主点即为输入图像的中心。需要注意的是，这一过程不会影响3D几何结构，因此根 $\mathbf{t}$ 保持不变。
### 3.4 架构与训练细节
网络概述。在实际应用中，我们的网络首先会将图像 $\mathbf{I} \in \mathbb{R}^{H \times W \times 3}$ 作为输入，送入卷积编码器以生成特征图 $\mathbf{F} \in \mathbb{R}^{H/32 \times W/32 \times C}$。随后，该特征图 $\mathbf{F}$ 会被输入到三个独立的解码器头中：2D解码器输出一组 $N_K$ 个2D关键点 $\mathbf{K}^{2D}$；3D解码器输出相对于根节点的顶点 $\mathbf{V}^{rel}$；权重解码器则输出一组置信度权重 $\mathbf{W}$。利用 $\mathbf{J}_{reg}$，我们可得到相对于根节点的3D关键点 $\mathbf{K}^{3D}$，进而形成一组2D-3D对应关系 $\mathcal{M} = \{(u_i, v_i, x_i, y_i, z_i)\}_{i=1}^{N_K}$。接着，借助 $\mathcal{M}$，我们构建矩阵 $\mathbf{A}$ 和 $\mathbf{B}$，并根据公式6和7计算出 $\mathbf{t}$。最后，我们利用 $\mathbf{t}$、$\mathbf{V}^{rel}$ 以及 $\mathbf{K}^{3D}$，按照公式1求出相机坐标系下的顶点 $\mathbf{V}^{cs}$ 和相机坐标系下的关键点，同时将所有上述网络输出用于构建训练损失函数。
权重解码器。虽然我们的2D和3D解码器遵循MobRecon [^14] 的设计，但权重解码器的结构如图3所示。从特征图 $\mathbf{F} \in \mathbb{R}^{H/32 \times W/32 \times C}$ 出发，我们执行一系列 $1 \times 1$ 次卷积操作，以获得新的特征图 $\mathbf{F}_{\mathbf{W}} \in \mathbb{R}^{H/32 \times W/32 \times D}$。随后，我们利用 $\mathbf{K}^{2D}$ 提供的2D位置信息，对一组 $N_K$ 维的特征进行网格采样，再将这些特征拼接成维度为 $D \times N_K$ 的潜向量 $\mathbf{Z}_{\mathbf{w}}$。该潜向量会经过带有Leaky ReLU激活函数的全连接层处理，最终输出结果会通过Sigmoid函数变换，从而确保置信度权重落在 [^0] [^1] 范围内。
Fig. 3: Weight decoder head.
损失函数。我们将损失分为两类：一类是应用于全局定位模块之前输出的相对空间损失，另一类则是全局定位模块之后的相机空间损失。对于相对空间损失：我们遵循MobRecon [^14] 的方法，采用以下损失：(1) 根节点相对的3D顶点 $L_{1}$ 损失，用于衡量根节点相对的真实顶点与3D解码器输出之间的差异；(2) 2D关键点 $L_{1}$ 损失，作用于2D解码器的输出；(3) 一致性损失，用于确保不同视觉增强输入下的输出结果具有一致性；(4) 预测网格边长度的 $L_{1}$ 边缘损失；(5) 预测网格法向量的法向损失。至于相机空间损失，我们采用：(1)
---
平移部分的均方根误差损失；(2) 关键点一致性损失，即2D解码器输出与预测的相机空间3D关键点投影之间的 $L_{1}$ 损失；(3) 3D相机空间顶点的2D投影所对应的2D顶点 $L_{1}$ 损失。
实现细节及更多方法相关信息，包括损失函数和网络架构细节，均可在补充材料中查阅。
### 4 实验
数据集。我们在以下数据集上开展了实验：
- FreiHAND [^56]。我们依照 [^15] [^26] 提出的评估协议在该数据集上进行实验。该数据集包含图像、3D手部姿态以及MANO [^46] 模型拟合结果，共提供130,240张训练图像和3,960张测试图像。
- HO3D-v2 [^20]。该数据集包含记录3D手部与物体交互的真实图像，训练集有66,034张图像，测试集有11,524张图像，且带有MANO [^46]模型的手部网格标注。该数据集中的手部会因被操纵的物体而产生严重的遮挡现象。测试集并未公开，评估工作是在公共服务器上进行的。该服务器会提供相机空间、根节点相对以及对齐格式的结果。不过，参与者会获得相机空间下的手部平移真值，以往的研究通常也是基于这一真值来报告结果。
– Human3.6M [^27]。该数据集是一个大规模的3D人体姿态基准数据集，包含360万帧带有3D关节坐标和SMPL [^42]网格标注的图像。我们遵循现有的评估协议 [^15]，但不采用常见的对齐指标，而是以相机空间来衡量误差。我们只需将MANO替换为SMPL，即可让我们的框架适配于预测人体网格的任务。
评估指标。我们报告以下指标：
– CS-MJE / CS-MVE：用于衡量预测的关节（MJE）/顶点（MVE）与相机空间（CS）坐标下的真值之间的欧几里得距离误差。两者均为测试集上的平均误差，单位为毫米。在某些实验中，我们会计算正确关键点百分比（PCK）随误差阈值变化的曲线下面积（AUC）。
– RS-MJE / RS-MVE：该指标用于衡量经过Procrustes对齐后的预测结果与真值之间的关节及顶点误差。该指标可作为根节点相对重建质量的衡量标准。
### 4.1 基线方法与消融实验说明
基线方法。我们的根节点相对模块会与不同的相机空间根节点平移预测方法结合使用。标记为“Baseline + {根节点预测方法}”的方法会在训练时纳入根节点相对模块（见图2），但不会使用任何全球定位系统；因此，仅应用相对空间的损失函数，手部网格在相机空间中的位置仅在测试时确定。
---
| Method | Image Rectification | End-to-End Training | Root-Relative | Camera-Space |
| RS-MJE $\downarrow$ | RS-MVE $\downarrow$ | CS-MJE $\downarrow$ | CS-MVE $\downarrow$ |
| B1. Baseline + PnP | ✗ | ✗ | 6.8 | 6.9 | 50.1 | 50.2 |
| B2. Baseline + DLT | ✗ | ✗ | 6.8 | 6.9 | 50.0 | 50.0 |
| B3. Baseline + RootNet [^39] | ✗ | ✗ | 6.8 | 6.9 | 62.6 | 62.5 |
| B4. Baseline + Optimization [^14] | ✗ | ✗ | 6.8 | 6.8 | 50.2 | 50.3 |
| B5. Root regression | ✗ | ✓ | 7.2 | 7.6 | 81.3 | 81.8 |
| BR1. Baseline + DLT + Rect. | ✓ | ✗ | 7.4 | 7.5 | 48.4 | 48.8 |
| BR2. Baseline + Optimization [^14] + Rect. | ✓ | ✗ | 7.4 | 7.5 | 48.9 | 49.0 |
| BR3. Root regression + Rect. | ✓ | ✓ | 7.8 | 7.7 | 52.6 | 55.4 |
| A4. Ours - w/o Rect. | ✗ | ✓ | 6.8 | 6.9 | 49.4 | 49.4 |
| Ours (Full framework) | ✓ | ✓ | 7.4 | 7.6 | 46.3 | 46.3 |
Table 1: Baseline and ablation experiments on FreiHAND dataset [^56]. The 'Image Rectification' column indicates whether the training images are rectified with our proposed approach. 'End-to-end Training' denotes whether gradients flow through the global positioning function during training. The task we care about for 3D interactions is quality in the camera space where we outperform all the baselines and variants.
在“B1. Baseline + PnP”中，通过求解透视-点（PnP）问题 [^44] 来获取全局平移量，具体是利用2D解码器的输出以及3D根节点相对关键点作为2D-3D对应关系。“B2. Baseline + DLT”指的是我们的基线方法，即仅在测试时的前向传播阶段应用我们设计的DLT模块，网络内部不会传播梯度。“B3. Baseline + RootNet”利用RootNet [^39] 来确定全局平移量。“B4. Baseline + Optimization”对应我们对MobRecon [^14] 的重新实现，通过基于优化的过程来识别全局平移量，该过程旨在最小化预测关键点的重投影误差。最后，“B5. Root Regression”是唯一采用解码器的端到端基线方法，该解码器与我们图3中展示的权重解码器类似，但用于回归相机空间的根节点值t，并纳入平移损失。我们还在部分基线方法中加入了图像矫正步骤，记为BR1-3。相关结果汇总在表1中。
消融实验。我们对完整流程进行了多项消融研究，如表2所示。“我们的方法（完整框架）”即我们提出的方法，包括对输入图像进行校正，并在训练期间执行可微全局定位，同时梯度会通过DGP模块反向传播。“A1. 我们的方法 – 无DGP – 无校正”表示不含所提出的DGP和校正步骤的框架，其设置与B4一致。“A2. 我们的方法 – 无DGP”用于评估与A1相比图像校正步骤的影响。在“A3. 我们的方法 – 无权值W”实验中，我们采用完整框架，但并未通过权重解码器预测关键点置信度，而是将所有权重手动设为1.0。最后，在表1所述的A4中，我们采用了完整的DGP模块，但排除了流程中的图像校正步骤。
## 4.2 基线与方法消融：结果讨论
学习3D全局定位函数。在此评估中，我们检验了将梯度从DGP反向传播至网络的效应，正如第3.1节所述。
---
| Method | FreiHAND | HO3D-v2 | Human 3.6M |
| CS-MJE $\downarrow$ | CS-MVE $\downarrow$ | CS-MJE $\downarrow$ | CS-MVE $\downarrow$ | CS-MJE $\downarrow$ | CS-MVE $\downarrow$ |
| A1. Ours - w/o DGP - w/o rectification | 50.2 | 50.3 | 121.7 | 121.6 | 336.9 | 342.8 |
| A2. Ours - w/o DGP | 48.9 | 49.0 | 85.3 | 85.4 | 164.7 | 179.3 |
| A3. Ours - w/o keypoint weights W | 46.6 | 46.6 | 50.4 | 50.4 | 159.9 | 174.0 |
| Ours (Full framework) | 46.3 | 46.3 | 50.3 | 50.3 | 147.6 | 162.0 |
Table 2: Method ablation experiments. We outperform all ablations on camera-space predictions across all datasets, validating our design choices and use of HandDGP.
在表1中我们发现，DGP的性能优于所有其他求根机制。非学习方法如PnP、DLT以及Chen等人提出的优化方法[^14]（B1、B2、B4）比基于学习的方法如RootNet[^39]和我们的回归基线（B5）能给出更优的预测结果。即便应用图像校正后，这些结果依然成立（BR1-3）。值得注意的是，即便不进行训练（仅前向传播），DGP公式也能取得与更复杂的优化方法相当的结果，这验证了我们的设计选择。在表2中我们发现，当利用所提出的DGP学习全局定位函数时，所有数据集上的误差均显著减小（A2）。例如，在FreiHAND、HO3D-v2和Human3.6M数据集中，相机空间顶点误差分别降低了2.7毫米、35.1毫米和17.3毫米。这一结果还表明HandDGP在全身网格预测中也有良好的迁移性。
图像校正的效果。我们发现，校正输入图像能够提升对尺度敏感特征的学习效果，因为我们通过保持训练期间相机内参恒定消除了一种歧义源。有趣的是，我们注意到虽然图像校正有助于相机空间的预测，但它会影响以根节点为参照的预测结果（我们的方法与A4对比）。我们推测这种性能下降的主要原因是：校正训练图像实际上减少了网络在训练过程中接触到的数据增强类型，进而影响2D关键点和3D网格几何形状的预测。这表明根据训练数据的处理方式，根节点相关预测与绝对预测质量之间可能存在权衡，而2D到3D的深度和尺度歧义会进一步加剧这一问题。网络可能会生成错误的手部形状来弥补平移预测中的误差，反之亦然。无论如何，当输入图像经过校正后，相机空间的定位效果会更好。
Fig. 4: Keypoint selection. Effect of keypoint selection with our weight decoder. Test-set images on FreiHAND and HO3D-v2 with the 2D keypoints overlaid: The brighter the keypoint, the higher the weight.
关键点选择。在表2中我们发现，学习式样7中引入的关键点选择权重W，而非将其固定不变，能进一步降低预测误差（我们的方法与A3对比）。我们通过定性分析展示了这一效应。
无论何种情况，当输入图像经过校正后，相机空间的定位效果都会更佳。
---
Fig. 5: (a) 3D PCK for camera-space hand mesh prediction on FreiHAND. (b) Camera-space hand mesh predictions rotated for illustration purposes. All meshes project correctly in the image, however some predictions display a 3D error offset. (c) Root-relative vs camera-space errors. Selected FreiHAND images with average camera-space (CS) and root-relative (RS) errors and ground truth (mesh in white).
在图4中，对于测试集里的图像，我们将2D解码器预测出的关键点绘制到输入图像上，并根据权重解码器输出的对应权重对各个关键点进行颜色编码。关键点的颜色越亮，其所对应的权重就越高。我们还在该图的底部一行展示了与每幅图像相关的权重情况。首先可以观察到，不同图像中各个关键点所对应的权重明显存在差异，这表明权重解码器确实为整个流程做出了积极贡献。接下来我们发现，被遮挡的关键点通常对应较低的权重，这说明我们的方法倾向于关注置信度更高的关键点。
定性结果。在图6中，我们展示了使用完整框架在不同数据集的测试图像上取得的定性结果。在大多数情况下，手部投影结果都较为准确，表1中的定量结果也证实了这一点。此外，我们还展示了一些罕见的失败案例：由于图像模糊、视角变化以及自身遮挡，这些案例中会出现较高的不确定性。仅仅展示投影后的2D网格可能无法完全反映实际情况，因为预测结果是在真实的3D相机空间中生成的。为解决这一问题，我们在图5(b)中加入了从旋转视角得到的预测3D网格，以展示预测结果与真实值之间的实际平移误差。虽然手部姿态总体正确，但我们仍观察到了平移误差现象，有时还会因补偿过度而导致手部形状偏大或偏小。
根部相对误差结果讨论。尽管这并非本文的研究重点，但表1显示，在根部相对任务中，我们的方法在平均0.6毫米的误差范围内不如某些基线方法（RS-MVE）。不过，我们在相机空间误差（CS-MVE）方面的改进幅度达到了约4毫米。为了判断这种RS-MVE的增加是否属于可接受的权衡，图5(c)对比了基线和HandDGP在FreiHAND测试集上的表现。我们选取了MobRecon相较于HandDGP在CS-MVE方面降低约4毫米、而RS-MVE增加至少0.6毫米的图像。当旋转3D视角时（第2-3列），CS-MVE的改善效果更为明显。我们的网格模型与真实值的贴合度更高，这对实际应用而言至关重要。
---
这类应用需要与现实及数字物体进行交互。较大的RS-MVE数值（0.84-1.68毫米）更难直观呈现。值得注意的是，更好的RS误差并不一定意味着更好的图像投影效果（最后一行），而且由于Procrustes对齐的影响，它还可能掩盖尺度误差。我们认为4毫米的CS-MVE改善具有重大意义，而可视化结果也表明0.6毫米的RS误差增加属于可接受的权衡。
框架的泛化能力。在补充材料中，我们展示了将本框架应用于另一种先进的根部相对方法时所取得的效果[^15]。
## 4.3 与现有技术的比较
FreiHAND：在表3和图5(a)中，我们将所提出的框架与最先进的相机空间方法进行了比较。值得注意的是，我们的方法在所有方法中实现了最低的相机空间误差。尽管CMR [^15]在其根部定位中也使用了分割掩码，但我们的误差仍比其减少了2.6毫米。我们还与MobRecon的ResNet50变体 [^14] 进行了比较，该变体与上一节中的基线B4相同。对于MobRecon，我们基于自己的实现报告结果，该实现与作者提供的结果高度一致，仅在数据处理上有细微差别，而这些差异也体现在我们的方法中。在图5中也能观察到类似趋势：我们的方法在所有方法中取得了最高的顶点PCK AUC值，CMR和MobRecon-RN-50紧随其后。我们的表现也优于NVF [^26]，这是唯一一种与我们类似、直接在相机空间进行预测的方法。需要注意的是，NVF并不直接预测手部网格，由于它们生成的网格采用Marching Cubes算法且丢失了MANO拓扑结构，因此两者难以直接比较。我们发现，基于根部相对坐标+2D-3D全局定位的范式（我们、CMR和MobRecon）的表现明显优于其他方法，其次是使用 [^40] 进行根部定位的I2L-MeshNet [^39]，这与我们的基线B3类似。
| Method | CS-MJE $\downarrow$ | CS-MVE $\downarrow$ |
| ObMan [^25] | 85.2 | 85.2 |
| MANO CNN [^56] | 71.3 | 71.5 |
| I2L-MeshNet [^40] | 60.3 | 60.4 |
| NVF [^26] | 47.2 | n/a $^{\dagger}$ |
| CMR-SG-RN18 [^15] | 49.7 | 49.8 |
| CMR-SG-RN50 [^15] | 48.8 | 48.9 |
| MobRecon-RN50 [^14] | 50.2 | 50.3 |
| Ours | 46.3 | 46.3 |
Table 3: State of the art comparison on FreiHAND. $^{\dagger}$can only be evaluated for keypoints.
| Method | CS-MJE $\downarrow$ | CS-MVE $\downarrow$ |
| HandOccNet [^41] | 156.4 | 156.2 |
| MobRecon-RN50 [^14] | 121.7 | 121.6 |
| Hasson et al. [^24] | 55.2 | 55.1 |
| Ours | 50.3 | 50.3 |
Table 4: State of the art comparison on HO3D-v2.
HO3D-v2：在表4中，我们展示了通过公开提交服务器获得的、我们的方法与最先进方法在相机空间坐标下的定量对比结果。需要注意的是，以往的研究通常在对齐步骤后采用相对坐标来报告结果，且经常使用提供的真实根部坐标值。我们无法确定排行榜上的哪些参与者使用了这一真实值，因此必须重新计算得分。我们仅报告满足以下条件的可用方法的结果：i) 有公开可用的代码；ii) 提供了训练好的模型；iii) 包含全局坐标预测阶段。该数据集比FreiHAND更具挑战性。
---
Fig. 6: Qualitative visualizations of our camera-space mesh prediction framework on FreiHAND, HO3D-v2, Human3.6M and in-the-wild web images [^33]. Meshes are projected into the image plane using perspective projection, including failure cases. Further qualitative results and comparisons are available in the supplementary material.
由于该数据集以物体为中心且存在较多遮挡情况，我们发现我们的方法表现优于目前相对姿态预测领域的顶尖方法HandOccNet [^41]。为了得出这些预测结果，我们运行了其代码，该方法会通过测试时优化来预测根部平移量。尽管其网格投影效果不错，但3D预测往往存在偏差，误差可达15厘米左右。我们的表现也优于Hasson等人 [^24] 的研究，该研究可同时预测物体和手部的全局平移量。由于物体尺寸相对固定（而手部则不然），预测物体根部坐标或许有助于解决尺度/深度歧义问题。相关的定性对比结果可在补充材料和视频演示中查看。
## 5 结论
我们提出了一种相机空间手部网格预测框架，能够实现直接在相机空间中的学习。我们的基线和消融研究验证了设计选择的正确性，结果表明我们的方法超越了那些在相机空间坐标下预测手部网格的最先进方法。从单张RGB图像中估计绝对3D几何结构本质上是一个不适定问题，对图像进行校正并在相机空间中进行预测有助于减少误差。
我们的实验表明，虽然基于根节点的误差仅为个位数毫米级别，且很可能低于标注误差，但相机空间误差却要大6到7倍。图5(b)和(c)直观地展示了这一点，这表明总误差的很大一部分源于2D到3D的深度歧义。我们推测，将手部从背景中分离出来的方法很快就会达到性能瓶颈。为了推进相机空间网格推理技术的发展，有必要在新的数据集以及结合场景上下文的方法上展开进一步研究，比如利用场景几何信息或物体特征。
---
## 致谢
我们要感谢Filippo Aleotti在基线实验和基础设施方面的帮助；感谢Jamie Watson、Zawar Qureshi和Jakub Powierza在基础设施方面的协助；感谢Axel Laguna就最小二乘求解器和网络架构进行的富有洞见的讨论；感谢Daniyar Turmukhambetov提供的宝贵技术见解；同时感谢Gabriel Brostow、Sara Vicente、Jessica Van Brummelen和Michael Firman对稿件不同版本提出的宝贵意见。
## 参考文献
[^1]: Antotsiou, D., Garcia-Hernando, G., Kim, T.K.: Task-oriented hand motion retargeting for dexterous manipulation imitation. In: ECCV Workshop (2018)
2. Apple: Vision Pro. , [在线；访问日期：2024年3月7日]
[^3]: Armagan, A., Garcia-Hernando, G., Baek, S., Hampali, S., Rad, M., Zhang, Z., Xie, S., Chen, M., Zhang, B., Xiong, F., et al.: Measuring generalisation to unseen viewpoints, articulations, shapes and objects for 3D hand pose estimation under hand-object interaction. In: ECCV (2020)
[^4]: Baek, S., Kim, K.I., Kim, T.K.: Pushing the envelope for rgb-based dense 3d hand pose estimation via neural rendering. In: CVPR (2019)
[^5]: Baek, S., Kim, K.I., Kim, T.K.: Weakly-supervised domain adaptation via gan and mesh model for estimating 3D hand poses interacting objects. In: CVPR (2020)
[^6]: Bhatnagar, B.L., Sminchisescu, C., Theobalt, C., Pons-Moll, G.: Loopreg: Self-supervised learning of implicit surface correspondences, pose and shape for 3d human mesh registration. In: NeurIPS (2020)
[^7]: Bhowmik, A., Gumhold, S., Rother, C., Brachmann, E.: Reinforced feature points: Optimizing feature detection and description for a high-level task. In: CVPR (2020)
[^8]: Boukhayma, A., Bem, R.d., Torr, P.H.: 3d hand shape and pose from images in the wild. In: CVPR (2019)
[^9]: Brachmann, E., Krull, A., Nowozin, S., Shotton, J., Michel, F., Gumhold, S., Rother, C.: Dsac-differentiable ransac for camera localization. In: CVPR (2017)
[^10]: Cao, Z., Radosavovic, I., Kanazawa, A., Malik, J.: Reconstructing hand-object interactions in the wild. In: CVPR (2021)
[^11]: Chen, B., Parra, A., Cao, J., Li, N., Chin, T.J.: End-to-end learnable geometric vision by backpropagating pnp optimization. In: CVPR (2020)
[^12]: Chen, H., Wang, P., Wang, F., Tian, W., Xiong, L., Li, H.: Epro-pnp: Generalized end-to-end probabilistic perspective-n-points for monocular object pose estimation. In: CVPR (2022)
[^13]: Chen, P., Chen, Y., Yang, D., Wu, F., Li, Q., Xia, Q., Tan, Y.: I2uv-handnet: Image-to-uv prediction network for accurate and high-fidelity 3d hand mesh modeling. In: ICCV (2021)
[^14]: Chen, X., Liu, Y., Dong, Y., Zhang, X., Ma, C., Xiong, Y., Zhang, Y., Guo, X.: Mobrecon: Mobile-friendly hand mesh reconstruction from monocular image. In: CVPR (2022)
## [^15]: Chen, X., Liu, Y., Ma, C., Chang, J., Wang, H., Chen, T., Guo, X., Wan, P., Zheng, W.: Camera-space hand mesh recovery via semantic aggregation and adaptive 2D-1D registration. In: CVPR (2021)
---
[^16]: Chen, X., Wang, B., Shum, H.Y.: Hand avatar: Free-pose hand animation and rendering from monocular video. In: CVPR (2023)
[^17]: Chen, Y., Tu, Z., Kang, D., Bao, L., Zhang, Y., Zhe, X., Chen, R., Yuan, J.: Model-based 3d hand reconstruction via self-supervised learning. In: CVPR (2021)
[^18]: Garcia-Hernando, G., Johns, E., Kim, T.K.: Physics-based dexterous manipulations with estimated hand poses and residual reinforcement learning. In: IROS (2020)
[^19]: Ge, L., Ren, Z., Li, Y., Xue, Z., Wang, Y., Cai, J., Yuan, J.: 3d hand shape and pose estimation from a single rgb image. In: CVPR (2019)
[^20]: Hampali, S., Rad, M., Oberweger, M., Lepetit, V.: Honnotate: A method for 3D annotation of hand and object poses. In: CVPR (2020)
[^21]: Hampali, S., Sarkar, S.D., Rad, M., Lepetit, V.: Keypoint transformer: Solving joint identification in challenging hands and object interactions for accurate 3D pose estimation. In: CVPR (2022)
[^22]: Han, S., Liu, B., Cabezas, R., Twigg, C.D., Zhang, P., Petkau, J., Yu, T.H., Tai, C.J., Akbay, M., Wang, Z., et al.: Megatrack: monochrome egocentric articulated hand-tracking for virtual reality. ACM TOG (2020)
[^23]: Hartley, R., Zisserman, A.: Multiple view geometry in computer vision. Cambridge university press (2003)
[^24]: Hasson, Y., Tekin, B., Bogo, F., Laptev, I., Pollefeys, M., Schmid, C.: Leveraging photometric consistency over time for sparsely supervised hand-object reconstruction. In: CVPR (2020)
[^25]: Hasson, Y., Varol, G., Tzionas, D., Kalevatykh, I., Black, M.J., Laptev, I., Schmid, C.: Learning joint reconstruction of hands and manipulated objects. In: CVPR (2019)
[^26]: Huang, L., Lin, C.C., Lin, K., Liang, L., Wang, L., Yuan, J., Liu, Z.: Neural voting field for camera-space 3D hand pose estimation. In: CVPR (2023)
[^27]: Ionescu, C., Papava, D., Olaru, V., Sminchisescu, C.: Human3.6M: Large scale datasets and predictive methods for 3D human sensing in natural environments. TPAMI (2013)
[^28]: Iqbal, U., Molchanov, P., Breuel Juergen Gall, T., Kautz, J.: Hand pose estimation via latent 2.5D heatmap regression. In: ECCV (2018)
[^29]: Kanazawa, A., Black, M.J., Jacobs, D.W., Malik, J.: End-to-end recovery of human shape and pose. In: CVPR (2018)
[^30]: Karunratanakul, K., Spurr, A., Fan, Z., Hilliges, O., Tang, S.: A skeleton-driven neural occupancy representation for articulated hands. In: 3DV (2021)
[^31]: Karunratanakul, K., Yang, J., Zhang, Y., Black, M.J., Muandet, K., Tang, S.: Grasping field: Learning implicit representations for human grasps. In: 3DV (2020)
[^32]: Kulon, D., Guler, R.A., Kokkinos, I., Bronstein, M.M., Zafeiriou, S.: Weakly-supervised mesh-convolutional hand reconstruction in the wild. In: CVPR (2020)
[^33]: Kuznetsova, A., Rom, H., Alldrin, N., Uijlings, J., Krasin, I., Pont-Tuset, J., Kamali, S., Popov, S., Malloci, M., Kolesnikov, A., et al.: The open images dataset v4: Unified image classification, object detection, and visual relationship detection at scale. IJCV (2020)
[^34]: Li, Z., Liu, J., Zhang, Z., Xu, S., Yan, Y.: Cliff: Carrying location information in full frames into human pose and shape estimation. In: ECCV (2022)
[^35]: Lin, K., Wang, L., Liu, Z.: End-to-end human pose and mesh reconstruction with transformers. In: CVPR (2021)
[^36]: Lin, K., Wang, L., Liu, Z.: Mesh graphormer. In: ICCV (2021)
37. Meta: Quest 3. ; 访问日期：2024年3月7日]
---
[^38]: Mihajlovic, M., Zhang, Y., Black, M.J., Tang, S.: Leap: Learning articulated occupancy of people. In: CVPR (2021)
[^39]: Moon, G., Chang, J.Y., Lee, K.M.: Camera distance-aware top-down approach for 3D multi-person pose estimation from a single RGB image. In: ICCV (2019)
[^40]: Moon, G., Lee, K.M.: I2L-MeshNet: Image-to-lixel prediction network for accurate 3D human pose and mesh estimation from a single RGB image. In: ECCV (2020)
[^41]: Park, J., Oh, Y., Moon, G., Choi, H., Lee, K.M.: Handoccnet: Occlusion-robust 3d hand mesh estimation network. In: CVPR (2022)
[^42]: Pavlakos, G., Choutas, V., Ghorbani, N., Bolkart, T., Osman, A.A., Tzionas, D., Black, M.J.: Expressive body capture: 3D hands, face, and body from a single image. In: CVPR (2019)
[^43]: Peng, S., Zhang, Y., Xu, Y., Wang, Q., Shuai, Q., Bao, H., Zhou, X.: Neural body: Implicit neural representations with structured latent codes for novel view synthesis of dynamic humans. In: CVPR (2021)
[^44]: Prince, S.J.: Computer vision: models, learning, and inference. Cambridge University Press (2012)
[^45]: Remelli, E., Han, S., Honari, S., Fua, P., Wang, R.: Lightweight multi-view 3D pose estimation through camera-disentangled representation. In: CVPR (2020)
[^46]: Romero, J., Tzionas, D., Black, M.J.: Embodied hands: Modeling and capturing hands and bodies together. ACM TOG (2017)
[^47]: Saito, S., Huang, Z., Natsume, R., Morishima, S., Kanazawa, A., Li, H.: Pifu: Pixel-aligned implicit function for high-resolution clothed human digitization. In: CVPR (2019)
[^48]: Spurr, A., Iqbal, U., Molchanov, P., Hilliges, O., Kautz, J.: Weakly supervised 3d hand pose estimation via biomechanical constraints. In: ECCV (2020)
[^49]: Tang, X., Wang, T., Fu, C.W.: Towards accurate alignment in real-time 3D hand-mesh reconstruction. In: ICCV (2021)
[^50]: Wei, T., Patel, Y., Shekhovtsov, A., Matas, J., Barath, D.: Generalized differentiable ransac. In: ICCV (2023)
[^51]: Yin, W., Zhang, C., Chen, H., Cai, Z., Yu, G., Wang, K., Chen, X., Shen, C.: Metric3D: Towards zero-shot metric 3D prediction from a single image. In: ICCV (2023)
[^52]: Yuan, S., Garcia-Hernando, G., Stenger, B., Moon, G., Chang, J.Y., Lee, K.M., Molchanov, P., Kautz, J., Honari, S., Ge, L., et al.: Depth-based 3D hand pose estimation: From current achievements to future goals. In: CVPR (2018)
[^53]: Zhang, X., Huang, H., Tan, J., Xu, H., Yang, C., Peng, G., Wang, L., Liu, J.: Hand image understanding via deep multi-task learning. In: ICCV (2021)
[^54]: Zhang, X., Li, Q., Mo, H., Zhang, W., Zheng, W.: End-to-end hand mesh recovery from a monocular RGB image. In: ICCV (2019)
[^55]: Zhou, Y., Habermann, M., Xu, W., Habibie, I., Theobalt, C., Xu, F.: Monocular real-time hand shape and motion capture using multi-modal data. In: CVPR (2020)
[^56]: Zimmermann, C., Ceylan, D., Yang, J., Russell, B., Argus, M., Brox, T.: FreiHAND: A dataset for markerless capture of hand pose and shape from single RGB images. In: ICCV (2019)