# 基于单图像的双手-物体三维重建及跨分支特征融合
陈宇瑾 $^{*}$、涂志刚 $^{*}$（IEEE会员）、康迪、陈瑞智（IEEE会员）、鲍林超 $^{\dagger}$、张正友（IEEE会士）以及袁俊松（IEEE会士），
摘要—从手-物图像中准确重建手部与物体的三维形状，对于理解人-物交互及人类日常活动具有重要意义。与裸手姿态估计不同，手-物交互会对手部及其所操控的物体产生强约束，这意味着手部形态可能是物体的关键上下文信息，反之亦然。然而，现有方法在解决该任务时，通常采用双分支网络分别重建手部与物体，且两个分支之间几乎没有信息交流。在本研究中，我们提出在特征空间内将手部与物体视为整体，并探索两个分支之间的相互作用关系。我们对采用MLP或LSTM单元的跨分支特征融合架构进行了广泛研究。在各类研究过的架构中，利用LSTM单元借助手部特征增强物体特征的变体取得了最佳性能提升。此外，我们引入了辅助深度估计模块，用估计得到的深度图来补充输入的RGB图像，进一步提升了重建精度。在公开数据集上开展的实验表明，在物体重建精度方面，我们的方法显著优于现有方法。
索引词—手部姿态与形状估计；三维物体重建；手-物交互
## 一、引言
由于虚拟现实（VR）、增强现实（AR）以及人机交互等广泛的应用需求，基于图像分析人手的研究受到了越来越多的关注 [^1] [^2] [^3]。在手部检测 [^4] [^5] [^6] [^7] [^8] 和手部姿态估计 [^9] [^10] [^11] [^12] [^13] 领域已经取得了显著进展。不过，现有大多数研究都假设手部处于无物体接触的状态，而实际上手部在与物体交互时往往并非如此。近期的研究开始着手解决这一问题，通过捕捉手部与物体之间的三维关系，从而更好地理解手相关动作识别、人类行为解读、机器人行为模仿等领域中的手-物交互情况。
为了捕捉并理解手与物体的交互，目前有两种常用方法可从二维图像输入生成三维形状。一种方法是恢复三维手部姿态和物体的6D位姿，进而从稀疏的手部关键点和物体边界框中推断出三维关系。
Fig. 1. Overview of the separated two-branch model [^14] and the proposed cross-branch model for joint hand-object reconstruction.
姿态 [^15]，并且可以从稀疏手部关键点和物体边界框 [^16]、[^17] 推断出 3D 关系。另一种方法是直接重建手部与物体的姿态和形状，从而获得更详细的信息，例如表面之间的接触。在这种情况下，可以通过估计手部姿态并使用形状先验模型 [^18] [^19] [^20] 来恢复人手的 3D 模型。如果物体的 3D 模型可用，则可以从物体数据库中检索物体形状，并将其与预测的 6D 姿态对齐到相机坐标系 [^21]、[^22]。
我们的研究目标是从单张手-物体图像中恢复高质量的3D手部与物体网格，且无需预先知道物体类别。此前已有相关研究探讨此任务[^14]、[^21]，但由于以下挑战，现有技术的性能仍远未达预期。首先，从单视角图像恢复3D形状属于不适定问题，我们必须从2D观测数据中推断缺失的深度信息。其次，手部与物体之间的严重相互遮挡，加上手指间的遮挡现象，使得重建难度进一步加大。第三，必须考虑物理约束以避免推断出不可行的交互方式；例如，表面穿透通常是不允许的，且手部握住物体时必须存在物理接触。然而，若不给网络提供领域知识，要让其从训练数据中自行发现这些约束十分困难。
---
(A)
(B)
Fig. 2. (A): The architecture of our proposed network. First, a depth map D is estimated from the input image I through the depth estimation module $f_d$. Then the depth map D, concatenated with the input image I, is fed into the rest network. Two separate encoders, $f_{res_h}$ and $f_{res_o}$, are used to extract the hand and object feature $\boldsymbol{r}_h$ and $\boldsymbol{r}_o$, respectively. A feature fusion module $f_{fusion}$ is then employed to perform cross-branch communication. Finally, the fused features are used to reconstruct 3D meshes $M_h$ and $M_o$. (B): A variant of the feature fusion module $f_{fusion}$: The hand feature $\boldsymbol{r}_h$ and the object feature $\boldsymbol{r}_o$ are sequentially fed into LSTM modules to obtain the fused hand-aware object feature $\boldsymbol{r}_o^+$. Several other variants are presented in Fig. 3.
与现有方法[^14]、[^21]不同——这些方法分别利用针对这两个独立任务的最先进网络来重建手部形状和物体形状——我们采用联合估计的方式获取二者的3D形状，并探索两项重建任务之间的相互作用。具体而言，如图1所示，我们的方法首先通过估算对应的深度图，将RGB图像转换为RGB-D表示形式，随后将RGB-D图像分别输入用于手部与物体的特征编码分支。受[^23]中用于连接序列块的“Block LSTM”启发，我们利用结构组件的连接信息来促进联合重建任务。我们对并行联合重建任务进行了改进，加入了逐步的特征融合过程：通过长短期记忆（LSTM）[^24]模块在潜空间内传递特征。一般来说，针对不同场景和样本，手部形状遵循某些先验规律，而物体形状的变化则更为多样。在我们的设置中发现，手部部分比物体部分更稳健：手部部分采用了从两千多个3D扫描数据中学得的低维参数化模型[^20]，而物体部分使用的顶点位置约束较少。因此，我们利用更稳健的手部特征，通过LSTM特征融合模块来增强物体特征。具体来说，手部特征和物体特征依次进入LSTM模块（见图2-B），这样后进入的物体特征会受到存储有手部特征信息的LSTM状态的调节。我们在第IV-C节进一步探讨了几种替代的特征融合策略，验证了基于LSTM的模块的有效性。最后，手部特征和增强后的物体特征被解码，以回归出手部与物体的3D形状。
## 我们的主要贡献总结如下
- 我们设计了一种端到端的跨分支网络，相较于现有方法，该网络在从单张RGB图像重建手部及相互作用物体的3D形状时，显著提升了精度。
我们提出了首个用于深入探究手-物体联合重建特征融合方案的方法。
- 我们引入了深度估计模块，将RGB输入扩展为RGB-D图像，这一设计有效带来了额外的性能提升。
### II. 相关工作
本研究主要涉及从手-物交互图像中进行手部与物体的三维重建。其次，本研究也与手部姿态和形状估计相关。第三，它还与单视图三维物体重建有关。此外，所提出的LSTM特征融合方案也与在三维视觉任务中采用循环神经网络（RNN）的方法相关。本节中我们将简要回顾相关工作。
手-物图像的三维解析。在计算机视觉领域，分析手-物交互的三维情况是一个极具挑战性的课题，包括估计手与物体交互时的三维形状[^25]、[^26]；追踪手在与物体交互时的状态[^27] [^28] [^29] [^30]；以及为手持扫描系统重建物体[^31]等。近年来，深度学习的发展进一步推动了该领域的研究进展。近期基于学习的方法要么通过深度图像[^16]，要么通过RGB图像[^32] [^33] [^34]来进行手-物姿态的联合估计，不过这种稀疏的关节估计或许不足以用于推导手部模型或手-物接触情况。最近，一些研究[^14]、[^21]、[^22]、[^35]、[^36]开始考虑手-物交互的三维重建问题。与[^35]中追踪与可变形物体交互的手部不同，我们专注于估计手部与刚性物体的三维形状。尽管[^21]、[^22]也对手-物三维形状进行了建模，但他们的研究中物体类别是已知的。
---
为了适配更多类型的物体，我们直接估计物体形状，而不假设物体模型是预先定义好的。我们提出的方法与[^14]最为相似，后者利用双分支网络从RGB图像中估计手部和物体的三维表示。我们的方法与[^14]主要有两点区别：首先，我们引入了深度估计模块来估计包含丰富结构信息的深度图，并利用RGB-D信息进行三维重建；其次，[^14]中并未充分探索手-物关系，而我们则通过所提出的LSTM特征融合模块建立了两个分支之间的联系。
手部姿态与形状估计。自商用RGB-D传感器问世以来，手部姿态估计领域发展迅速[^37]、[^38]。无论是基于RGB图像[^10]、[^11]、[^39] [^40] [^41] [^42] [^43] [^44]，还是基于深度图[^12]、[^45] [^46] [^47] [^48] [^49] [^50]，三维手部姿态估计都取得了显著进展。为了更好地呈现手部表面信息，许多研究致力于生成密集的手部网格，这可通过深度输入[^51]或RGB输入[^14]、[^52] [^53] [^54] [^55] [^56] [^57]来实现。在我们的研究中，为了更准确地推断手部与物体的交互情况，我们也专注于从RGB图像中预测精确的手部网格。我们采用了MANO手部模型[^20]，其参数由神经网络回归得出，用于生成手部关节和网格。
单图像三维物体重建。从单张图像中恢复三维物体形状是一项具有挑战性的任务。近期的研究尝试用体素[^58]、[^59]、点云[^60]、[^61]、八叉树[^62]、[^63]或多边形网格[^64] [^65] [^66] [^67] [^68] [^69]来表示物体。我们的工作与那些通过网格表示物体的方法密切相关。这类方法通常是通过变形一组原始的正方形面片[^66]或某个通用的预定义网格[^67]、[^69]来生成三维结构。与AtlasNet[^66]类似，我们也是通过变形一组原始的正方形面片来形成三维网格。我们采用了以视角为中心的AtlasNet变体，从手-物体图像中生成三维物体[^14]。
循环神经网络在三维视觉任务中的应用。RNN因其在处理时间序列方面的有效性而广受认可[^70]、[^71]。近年来，RNN已成为三维视觉任务中的强大调节工具，例如人体姿态估计[^72] [^73] [^74]和三维物体重建[^75]。最近，[^73]提出了一种ConvLSTM，用于在不同身体部位之间传递上下文信息以实现三维姿态估计。[^23]提出了三维形状程序，这类程序以三维形状为输入，输出一系列原始程序来描述对应的物体三维形状。与他们不同，我们的目标并非利用结构部件间的上下文信息来解析单个结构；相反，在我们的手-物体联合重建任务中，我们旨在借助LSTM特征融合模块来关联两个不同个体的信息。
### III. 所提出的方法
我们的方法目标是从手与物体交互的图像中重建手和物体的网格表示。我们提出了一种双分支协作网络来解决这一问题。首先从RGB图像中预测深度图，随后将原始RGB图像与估计出的深度图拼接而成的RGB-D图像输入后续的重建分支。我们采用双分支网络来估计手和物体的形状，并提出了连接这两个分支的特征融合模块，以增强各自学习到的手和物体特征（见图2）。接下来，我们将详细介绍所提出的方法。
### A. 深度估计
以往的研究[^76]、[^77]表明，利用深度图能够为基于单目RGB的形状估计任务带来益处。然而，RGB图像并不总是配有对应的真实深度图。在本研究中，我们采用深度估计模块来增强RGB输入，得到RGB-D输入。
深度估计模块$f_d$用于从彩色图像$I: D = f_d(I)$中估计深度图D。与[^76]类似，我们使用ResNet-18[^78]将输入图像编码为潜在表示，再利用解码器来预测深度图。该解码器由四组$5 \times 5$卷积层和四组$1 \times 1$卷积层构成，每个卷积层后都添加了ReLU层。输出是与输入图像尺寸相同、通道数为1的深度图。+我们将估计出的深度图D与源RGB图像I拼接起来，再将得到的RGB-D图像输入后续网络。
此次深度估计任务的损失由两部分组成：最小绝对偏差损失（也称为L1距离）$\mathcal{L}_{1}$和结构相似性（SSIM）损失$\mathcal{L}_{ssim}$（公式1）。$\lambda_{ssim}$是一个权重因子，经经验设定为1000。我们使用$\frac{1}{SSIM}$作为损失项，以促使预测的深度图与其真实值之间具有结构相似性[^79]。深度损失$\mathcal{L}_{D}$是最小绝对偏差损失$\mathcal{L}_{1}$与结构相似性损失$\mathcal{L}_{ssim}$之和（公式2）。
$$ \mathcal{L}_{s s i m}=\frac{1}{\lambda_{s s i m}\cdot S S I M} $$
$$ \mathcal{L}_{D}=\mathcal{L}_{1}+\mathcal{L}_{s s i m} $$
需要注意的是，合成图像中背景部分的深度值是缺失的，因此在网络训练期间我们仅计算前景区域的损失。
### B. 特征编码
原始RGB图像会先与估计的深度图拼接，得到的四通道RGB-D图像会被输入到双分支网络的编码器中。每个分支以RGB-D图像为输入，通过预训练在ImageNet数据集上的ResNet-18编码器提取潜在表征[^78] [^80]。手部与物体的表征分别记为$\boldsymbol{r}_{\boldsymbol{h}} = f_{Res\_h}(I \oplus D)$和$\boldsymbol{r}_{\boldsymbol{o}} = f_{Res\_o}(I \oplus D)$，其中$\oplus$表示拼接操作。
### C. 三维形状重建
1) 手部姿态与形状估计：我们从潜在表示中回归模型参数，然后将MANO模型作为网络层来预测手部姿态和
---
Fig. 3. Alternative feature fusion architectures. (A) LSTM(hand $^{+}$). (B) LSTM(hand $^{+}$object $^{+}$). (C) MLP_Add. (D) MLP_Concat.
形状，如[^14]、[^53]所示。具体而言，我们将手部特征$r_h$输入到手部参数估计器$f_{hpe}$中，以回归手部参数，包括姿态$\theta$和形状$\beta$：$\theta, \beta = f_{hpe}(r_h)$。接着，利用可微分的MANO手部模型$f_{MANO}$，根据$J_h$和$M_h$来计算手部关节$\theta$和手部网格$\beta$：$J_h, M_h = f_{MANO}(\theta, \beta)$。$\theta$决定了关节角度，而$\beta$则调节手部的形状（更多细节见[^20]）。
为了监督手部估计的学习过程，我们采用了常用的关节位置损失$\mathcal{L}_J$。同时，当存在真实的手部网格时，会使用顶点位置损失$\mathcal{L}_M$来监督手部网格的训练。这两种损失均通过计算预测值与真实值之间的L2距离得出。形状正则化项被定义为$\mathcal{L}_{\beta} = \|\beta - \bar{\beta}\|^2$，旨在促使估计出的手部模型形状$\beta$接近平均形状$\bar{\beta} = \vec{0} \in \mathbb{R}^{10}$。姿态正则化项被定义为$\mathcal{L}_{\theta} = \|\theta - \bar{\theta}\|^2$，用于惩罚偏离平均姿态$\bar{\theta} = \vec{0} \in \mathbb{R}^{30}$的不合理姿态。总而言之，手部部分的总损失$\mathcal{L}_{Hand}$是$\mathcal{L}_M$、$\mathcal{L}_J$、$\mathcal{L}_{\beta}$和$\mathcal{L}_{\theta}$的加权和（公式3），其中$\mu_J$、$\mu_{\beta}$和$\mu_{\theta}$为权重因子。
$$ \mathcal{L}_{H a n d}=\mathcal{L}_{M}+\mu_{J}\mathcal{L}_{J}+\mu_{\beta}\mathcal{L}_{\beta}+\mu_{\theta}\mathcal{L}_{\theta} $$
2) 物体形状重建：我们的物体重建分支与AtlasNet [^66]类似。在AtlasNet中，潜在形状表示以及一组在单位正方形内均匀采样的2D点会被输入到网络中，进而生成一系列参数化曲面元素。这些参数化曲面元素能够推断出物体的表面表示。AtlasNet旨在重建规范视角下的物体网格，且[^14]已经验证了其在手-物体任务中以视图为中心的坐标系中的有效性。与AtlasNet不同的是，我们的方法是从RGB-D输入中提取潜在表示。随后，AtlasNet模块$f_{Atlas}$会将潜在表示$r_o$解码为物体规范坐标系下的物体网格$M_{co}$（公式4）。一个多层感知机（MLP）神经网络$f_{TS}$用于预测平移参数T和缩放参数s（公式5）。接着，根据T和s，我们将回归得到的网格$M_{co}$转换为最终的物体网格$M_o = sM_{co} + T$。
$$ M_{c o}=f_{A t l a s}(\pmb{r_{o}}) $$
$$ T,s=f_{T S}(\boldsymbol{r}_{o}) $$
我们采用对称的Chamfer损失$\mathcal{L}_{CD}$，正如[^14]、[^66]所述，该损失用于衡量回归得到的物体网格的642个顶点$M_o$与在真实物体网格表面均匀采样的600个点$M_g$之间的差异（公式6）。除了在手相对坐标系中比较物体网格$M_o$与$M_g$外，我们还在物体规范坐标系中计算Chamfer损失$\mathcal{L}_{CDcan}$（公式7），其中$M_{co}$是公式4中的回归物体网格，而$M_{cg}$则是通过真实物体质心$M_g$和最大半径$\hat{T}$对真实网格$\hat{s}$进行归一化处理得到的结果（公式8）。
$$ \mathcal{L}_{C D}=\frac{1}{2}(\frac{1}{600}\sum_{p\in M_{g}}m i n_{q\in M_{o}}\parallel p-q\parallel^{2}+\frac{1}{642}\sum_{q\in M_{o}}m i n_{p\in M_{g}}\parallel q-p\parallel^{2}) $$
$$ \begin{align*}\mathcal{L}_{CDcan}=\frac{1}{2}(\frac{1}{600}\sum_{p\in M_{cg}}\min_{q\in M_{co}}\|p-q\|^{2}+\\ \frac{1}{642}\sum_{q\in M_{co}}\min_{p\in M_{cg}}\|q-p\|^{2})\end{align*} $$
$$ M_{c g}=(M_{g}-\hat{T})/\hat{s} $$
平移损失定义为$\mathcal{L}_T = \| T - \hat{T} \|_2^2$，缩放损失定义为$\mathcal{L}_s = \| s - \hat{s} \|_2^2$，其中真实物体质心$\hat{T}$和最大半径$\hat{s}$是在手相对坐标系中计算得出的。边缘正则化损失$\mathcal{L}_E$用于惩罚边缘长度的差异，曲率正则化损失$\mathcal{L}_L$则用于促使表面保持合理的平滑度。物体部分$\mathcal{L}_{Object}$的总损失是$\mathcal{L}_{CD}$、$\mathcal{L}_{CDcan}$、$\mathcal{L}_T$、$\mathcal{L}_s$、$\mathcal{L}_L$和$\mathcal{L}_E$的加权和（公式9），其中$\mu_T$、$\mu_s$、$\mu_L$、$\mu_E$为权重系数。
$$ \mathcal{L}_{Object}=\mathcal{L}_{CD}+\mathcal{L}_{CD can}+\mu_{T}\mathcal{L}_{T}+\mu_{s}\mathcal{L}_{s}+\mu_{L}\mathcal{L}_{L}+\mu_{E}\mathcal{L}_{E} $$
3) 通过特征融合模块连接两个分支：针对这项手-物体重建任务，我们提出将手部和物体分支的独立特征相互关联。为了促进联合重建，我们提议通过特征融合模块在潜空间内将两个分支连接起来。在我们的模型中，手部表示$r_{h}$比物体表示$r_{o}$更为稳健，因为手部部分采用了MANO模型[^20]，这是一种基于2018年扫描的手部数据训练而成的低维参数化模型，因此包含了关于有效手部空间的丰富先验知识。相比之下，物体是通过仅由训练数据优化的顶点位置来表示的，因此包含的形状先验信息较少。因此，我们选择了手部特征。
---
$r_h$作为提供者，通过使物体分支能够感知来自手部分支的信息来增强物体特征$r_o$。如图2-B所示，我们采用两时间步的LSTM $f_{fusion}$作为特征融合模块。手部特征$r_h$在第一个时间步被输入到LSTM模块中，随后存储了当前手部姿态和形状信息的LSTM层状态会被传递到物体分支，从而生成增强后的手部感知物体特征$r_o^+ = f_{fusion}(r_h, r_o)$，其中$r_o$为原始的物体特征。该两时间步LSTM包含一个循环层，隐藏层中的特征数量为1000。加入特征融合模块后，公式4和公式5中的物体表示$r_o$会被增强后的物体特征$r_o^+$所替代。为了更好地探究特征融合模块的有效性，我们研究了几种融合策略（见图3），并在第IV-C节中比较了它们的性能。
此外，在恢复手部与物体的网格时，我们会考虑二者之间的接触情况。与仅基于手部或物体图像进行3D形状重建不同，同时重建手部和物体需要处理接触问题。[^14]将接触约束表述为一种可微损失$\mathcal{L}_{Contact}$，该损失包含吸引项和排斥项。我们采用了相同的接触损失，更多细节可在[^14]中找到。我们提出的网络的整体损失函数$\mathcal{L}$是上述四部分的加权和（公式10），其中$\mu_H$、$\mu_O$、$\mu_C$为权重系数。
$$ \mathcal{L}=\mathcal{L}_{D}+\mu_{H}\mathcal{L}_{H a n d}+\mu_{O}\mathcal{L}_{O b j e c t}+\mu_{C}\mathcal{L}_{C o n t a c t} $$
### IV. 实验
在本节中，我们首先介绍实验所用的数据集、评估指标（第IV-A节）以及实现细节（第IV-B节）。接着，我们分析所提出模块的效果（第IV-C节），并评估我们方法的整体性能（第IV-D节）。
### A. 数据集与评估指标
我们在三个公开可用的数据集上评估我们的方法：一个合成第三人称视角数据集、一个真实世界的 Egocentric 数据集以及一个真实世界的第三人称视角数据集。
ObMan数据集：ObMan数据集[^14]是一个大规模的合成数据集，包含手-物图像，其中手部通过MANO模型[^20]生成，物体则取自ShapeNet数据集[^81]。ObMan数据集中包含超过2000个物体网格，这些物体选自ShapeNet数据集中的八个类别。合理的抓取姿势是通过GraspIt软件[^82]生成的。ObMan数据集包含141K个训练帧和6K个测试帧。对于每个帧，它提供了RGB-D图像、3D手部和物体网格以及3D手部关键点。
第一人称手部动作基准数据集（FHB）：FHB数据集[^83]收集了包含手-物交互的日常手部动作类别的RGB-D视频序列。3D手部关节和6D物体姿态会被自动标注。按照[^14]的方法，实验中使用了FHB的一个子集FHBc，该子集包含约5K个训练帧和5.6K个测试帧。训练集和测试集中出现的物体类别相同。
手部动作数据集（HIC）：我们使用了HIC数据集中的四个序列[^29]，这些序列中手部会与物体发生交互。与[^14]类似，我们仅选取手部距离物体小于5毫米的帧。其中，序列15和序列20用作训练集，序列19和序列21用于评估。数据集中提供了手部与物体的网格模型。
为了评估手部估计结果，我们采用三项指标：(i) MPJPE：所有测试帧上所有关节在欧几里得空间中的平均位置误差（单位：毫米）；(ii) HME：手部网格误差（HME）是指所有测试帧上手部位网格对应顶点在欧几里得空间中的平均误差（单位：毫米）；(iii) 3D PCK：关键点的正确率（PCK），即关节误差不超过特定阈值的关键点所占比例。
为了评估物体重建结果，我们统计预测网格与真实网格之间的表面间距。具体而言，对称Chamfer误差（CD）（公式6）是在真实网格上采样的600个点以及估计网格的所有642个顶点上计算得出的[^14]、[^66]（单位为$mm \times mm$）。
为了评估手部与物体之间的接触功能，我们采用穿透深度（PD）作为评价指标，即在所有测试帧上手部与物体之间的最大穿透程度的平均值（单位：毫米），该数值由[^14]给出。最大穿透程度定义为：若存在交集区域，则指两个网格表面之间的最大距离（单位：毫米）；若两个网格未相互穿透，则误差为0。
### B. 实现细节
我们使用Adam优化器[^84]来优化网络，批量大小为16。所提出的网络包含三个部分：深度估计部分、手部分支以及物体分支（连同特征融合模块）。我们并未直接对整个网络进行优化，而是采用分阶段训练策略来训练该网络。
为了在ObMan数据集上训练我们的模型，我们将训练过程分为多个阶段。首先，对深度估计部分训练90个周期，初始学习率设为$3 \times 10^{-4}$，每30个周期后分别降至$10^{-4}$和$10^{-5}$。随后冻结深度估计部分。手部分支训练250个周期，初始学习率为$10^{-4}$，在第200个周期时降至$10^{-5}$。之后冻结手部分支，物体分支按照与手部分支相同的流程进行训练。最后，我们设置学习率为$10^{-5}$，用接触损失对手部与物体分支进行50个周期的微调。
对于规模较小的FHBc数据集，训练流程与ObMan数据集相同，只是手部与物体分支初始化时采用了在ObMan数据集上预训练的权重。双分支3D重建部分训练150个周期，学习率在第100个周期时降低。深度图估计部分的权重则是随机初始化的，
---
因为在FHBc数据集中使用的是常规深度图，而在ObMan数据集中使用的是深度前景图。
对于HIC数据集，整个网络使用在ObMan数据集上预训练的权重进行初始化。我们将网络微调250个周期，初始学习率设为$10^{-4}$，并在第200个周期时将其降至$10^{-5}$。为了监督训练过程，我们联合使用手部损失$\mathcal{L}_{Hand}$、物体损失$\mathcal{L}_{Object}$以及接触约束$\mathcal{L}_{Contact}$。
对于手部估计公式（公式3），各权重系数分别设为$\mu_{J} = 0.167$、$\mu_{\beta} = 0.167$和$\mu_{\theta} = 0.167$。对于物体形状重建公式（公式9），相关参数分别为$\mu_{T} = 0.167$、$\mu_{s} = 0.167$、$\mu_{L} = 0.1$和$\mu_{E} = 2$。对于总体损失函数（公式10），我们设定$\mu_{H} = 0.001$、$\mu_{O} = 0.001$和$\mu_{C} = 0.1$。
### C. 消融研究
我们进行了消融分析，以评估所提出模块的有效性。我们分析了深度估计、特征融合模块、双分支流程以及接触计算所产生的影响。表III展示了我们模型不同版本的结果。
1) 深度估计模块的影响：为了说明深度估计的作用，我们在两个数据集上进行了对比实验以评估手部估计任务。在不使用深度估计的设置中，我们用空映射来替代估计得到的深度图，其他组件保持不变。我们通过关键点正确率（PCK）来评估性能。需注意，PCK会评估测试集中的所有关节，此处我们遵循[^54]的做法，采用图4中0到50毫米的误差阈值。如图4所示，与未使用深度估计模块的方法相比，性能有所提升。从曲线中可以看出，在FHBc数据集上，当误差阈值处于20毫米至40毫米之间时，PCK较未使用深度估计模块的方法提升了约10%；而在ObMan数据集上，当误差阈值处于10毫米至30毫米之间时，PCK提升了约3%。除了评估手部估计方面的改进外，我们还报告了ObMan数据集上物体重建方面的改进情况。对比表III中的索引2和索引5可知，移除索引2中的深度估计模块$f_{d}$后，物体CD值会增加4%，手部MPJPE会增加6.2%，手部HME会增加6.9%。直观而言，深度图与RGB图像互为补充，它能提供丰富且更直接的结构信息，这对3D重建的推断十分有益。值得一提的是，引入的深度估计模块在训练期间无需额外的真实信息，因为其监督信号可源自真实的3D网格数据。
2) 不同特征融合模块的对比：在本节中，我们通过实验来验证特征融合模块的有效性。我们研究了该模块的几种替代架构。当不使用融合机制时，手部分支和物体分支会分别训练（详见表I中的基线模型）。我们基于跨分支信息的提供者和使用者，测试了三种融合策略：(i) LSTM($object^{+}$)：LSTM指的是所提出的LSTM结构。
Fig. 4. Comparison of whether to use the depth estimation module on the FHBc dataset and the ObMan dataset. The proportion of correct keypoints over different error thresholds are presented.
Fig. 5. Qualitative visualization of the depth estimation on the ObMan dataset (left) and the FHBc dataset (right).
特征融合模块用于融合各种特征，其中的“+”表示通过融合另一分支的信息来增强该对象的特征，此处另一分支指的是手部分支（见图2-B）。(ii) LSTM(手部 $^+$)：通过LSTM特征融合模块融合物体分支的信息来增强手部特征（见图3-A）；(iii) LSTM(手部 $^+$物体 $^+$)：我们使用两个LSTM模块，一个用于增强物体特征，另一个用于增强手部特征，二者互相促进（见图3-B）。与LSTM(手部 $^+$)和LSTM(物体 $^+$)所采用的分支独立训练方式不同，手部与物体分支在训练中相互增强。如表I所示，当物体特征因感知到手部分支的信息而得到增强时，LSTM(物体 $^+$)的物体CD误差降低了5%，而LSTM(手部 $^+$)的MPJPE
---
Fig. 6. Ablation of the LSTM fusion module on the ObMan dataset. This plot shows the first 150 epochs of training: the $f_{fusion}$ makes the object CD error in the evaluation set decrease fast.
则降低了2%，这是因为手部特征得到了增强。当使用两个独立的LSTM特征融合模块来同时增强两种特征时（即LSTM(手部 $^+$物体 $^+$)），结果显示这种相互融合有助于改善物体的形状，却会使手部表现变差。我们认为，更稳健的手部特征在与物体特征融合并共同训练时，能够对物体特征起到促进作用；与此同时，物体特征会在一定程度上拖累手部特征，从而导致手部估计效果略差，而物体估计效果更好。至于信息传输方向的选择，我们认为这是手部与物体性能提升之间的一种权衡。本文最终选用LSTM(物体 $^+$)，是因为它能让手部与物体均取得良好的结果。
除了所提出的LSTM特征融合模块外，我们还进行了消融实验，以研究常用的基于MLP的特征融合模块，包括拼接和逐元素相加。我们还在LSTM模块中使用了堆叠的LSTM，以探究更大的模型容量是否能进一步提升性能。我们测试了三种替代的特征融合策略，利用手部特征的信息来增强物体特征。(i) MLP_Add(object $^+$)：通过MLP映射将物体特征与手部分支的信息进行逐元素相加，从而增强物体特征（见图3C）；(ii) MLP_Concat(object $^+$)：通过MLP映射将物体特征与手部分支的信息进行拼接，随后通过全连接层将增强后的物体特征转换为固定大小的向量（见图3D）；(iii) LSTM_2layers(object $^+$)：采用与LSTM(object $^+$)相同的特征融合方法，但在LSTM模块中将两个LSTM堆叠起来形成堆叠式LSTM。如表II所示，使用基于MLP的模块后，物体重建结果反而变差，而LSTM和LSTM_2layers能够显著改善物体重建的性能。需要注意的是，在实验中，基于MLP的模块所使用的参数与LSTM(object $^+$)中的参数相近，而LSTM_2layers(object $^+$)则使用了双倍参数。在这些模块中，基于LSTM的模块最为有效；虽然堆叠了两个LSTM的LSTM模块略优于其他模块，但其在特征融合模块中所需的参数也是双倍的。本文中我们选用LSTM(object $^+$)作为特征融合模块。
如图6所示，我们对比了评估集中物体CD误差的下降速度。为了更精确地评估特征融合模块$LSTM(object^{+})$的效果，我们移除了深度估计模块。从曲线中可以看出，所提出的特征融合模块显著加快了物体CD误差的减小速度。最后，如果从模型中同时移除深度估计模块和特征融合模块（如表III中的索引6所示），双手和物体的重建性能将会大幅下降。
3) 双分支编码的影响：除了上述使用两个编码器对特征进行编码后再融合跨分支特征的方法外，我们还采用了一种极端的桥接方式，即手部分支和物体分支共享同一个编码器编码出的特征。在这种设置下，为了平衡可训练参数总量以实现更公平的比较，我们选用ResNet-34作为共享编码器$f_{Res\_s}$。如表III（索引4）所示，我们使用共享骨干网络，并移除了索引2中的手部编码器、物体编码器和融合模块。通过用共享骨干网络替换独立的编码器，在物体重建方面能够获得可比的结果，但手部MPJPE却增加了10%。我们认为，每个分支在其任务上各司其职，而融合模块则有助于在双分支协作流程中感知跨分支信息，因此对于这种手-物联合重建任务而言，双分支流程比共享编码器设置更高效。
4) 接触损失及其与特征融合模块的关系：为了研究特征融合模块和接触项的影响，实验中采用了不同的模块组合。“基线+接触”：我们将未使用特征融合的手部和物体分支作为基线，随后加入接触损失来对两个分支进行微调；“基线+LSTM(物体$^{+}$)+接触”（我们的方法）：“+接触”表示利用接触损失来对两个分支进行微调。
需要注意的是，每个阶段都经过了收敛训练。如表I所示，对比“基线+接触”、“基线+LSTM(物体$^{+}$)”以及“基线+LSTM(物体$^{+}$)+接触”（我们的方法），物体误差分别降低了0.8%、4.9%和5.2%。所提出的LSTM模块和接触计算都是连接手部与物体的“桥梁”，结果表明，在降低物体重建误差方面，我们提出的LSTM模块比接触损失更为有效，而LSTM模块与接触损失的结合能够显著提升性能。所提出的LSTM特征融合模块和接触约束都将手部与物体这两个分支相连，但它们是在不同的空间中实现这一目标的：特征融合模块在特征空间内连接分支，而接触约束则是直接在网格上实施的。我们认为特征空间中的连接更容易学习，因此所提出的LSTM模块比接触损失贡献更大。总之，LSTM模块能够与接触项良好协作，有助于从手-物图像中获取更佳的形状，而“基线+LSTM(物体$^{+}$)+接触”（我们的方法）在手-物重建任务上取得了最佳的整体性能。
---
TABLE I
在OBMAN数据集上，根据融合策略以及是否执行接触计算得出的评估结果。此表中的“基线”指的是一个独立的两分支网络，包含深度估计模块且未使用融合模块（定义见第IV-C2节）。★表示端到端训练，其他设置则采用分阶段训练方式（见第IV-B节）。
| Method | MPJPE $\downarrow$ | CD $\downarrow$ |
| Baseline | 9.7 | 426.1 |
| Baseline+LSTM(hand $^{+}$) | 9.5 | 426.1 |
| Baseline+LSTM(object $^{+}$) | 9.7 | 405.1 |
| Baseline+LSTM(hand $^{+}$object $^{+}$) | 10.1 | 392.6 |
| Baseline+contact | 9.7 | 422.5 |
| Baseline+LSTM(object $^{+}$)+contact (Ours) | 9.6 | 403.8 |
| Baseline+LSTM(object $^{+}$)+contact (Ours) $^{{*}}$ | 10.1 | 391.5 |
TABLE III
ABLATION STUDIES FOR DIFFERENT COMPONENTS USED IN OUR METHOD ON THE OBMAN DATASET. THE DEPTH ESTIMATION MODULE $f_{d}$ CONTRIBUTED THE MOST TO THE HAND SHAPE AND THE FEATURE FUSION MODULE $f_{fusion}$ CONTRIBUTES THE MOST TO THE OBJECT SHAPE.
| Index | $f_d$ | Separate Encoders | $f_{fusion}$ | Contact | MPJPE $\downarrow$ | HME $\downarrow$ | CD $\downarrow$ |
| 1 | ✓ | ✓ | ✓ | ✓ | 9.6 | 9.8 | 403.8 |
| 2 | ✓ | ✓ | ✓ | ✗ | 9.7 | 10.1 | 405.1 |
| 3 | ✓ | ✓ | ✗ | ✗ | 9.7 | 10.0 | 426.1 |
| 4 | ✓ | ✗ | ✗ | ✗ | 10.5 | 10.8 | 404.9 |
| 5 | ✗ | ✓ | ✓ | ✗ | 10.3 | 10.8 | 421.3 |
| 6 | ✗ | ✓ | ✗ | ✗ | 10.3 | 10.8 | 860.6 |
5) 训练方案对比：如第IV-B节所述，我们设计了分阶段训练方案来单独训练网络组件。我们的网络也可以采用端到端方式训练，即整个网络训练250个周期，初始学习率设为$10^{-4}$，在第200个周期时降至$10^{-5}$。最终的MPJPE和CD分别为10.1和391.5（见表I）。与Baseline+LSTM（手部+物体+）的结果类似，端到端版本的物体重建性能更好，但手部性能不如分阶段版本。我们认为这可能是因为较差的物体特征在一定程度上拖累了手部特征，而手部特征又比固定训练的手部分支中的特征更差。需要注意的是，除了这组端到端训练结果外，其他实验均采用分阶段训练方案。
### D. 实验结果
在本节中，我们首先展示在ObMan和FHBc数据集上的深度估计（IV-D1）、手部恢复（IV-D2）、物体恢复（IV-D3）以及形状穿透（IV-D4）结果。随后我们使用HIC数据集来评估将基于合成数据集预训练的模型微调到小型真实数据集上的性能（IV-D5）。此外，我们还展示了一些可视化结果。
1) 深度估计性能：对于深度估计，我们采用简单的编码器-解码器结构，直接从输入的单目RGB图像中预测深度图。我们在ObMan合成数据集上估计深度前景，在FHBc数据集上生成规则深度图。定性结果如图5所示。我们发现，估计出的深度图保留了手部和物体形状的固有信息，且表面平滑。需要注意的是，在训练深度估计部分时，两个数据集上的网络权重均为随机初始化。
TABLE II
OBJECT RECONSTRUCTION RESULTS ON THE OBMAN DATASET WITH DIFFERENT FEATURE FUSION MODULES.
| Method | CD $\downarrow$ |
| Baseline | 426.1 |
| Baseline+MLP_Add(object $^{+}$) | 437.2 |
| Baseline+MLP_Concat(object $^{+}$) | 428.1 |
| Baseline+LSTM(object $^{+}$) | 405.1 |
| Baseline+LSTM_2layers(object $^{+}$) | 402.3 |
COMPARISON OF MPJPE (MM) ON THE OBMAN DATASET AND THE FHBC DATASET.
TABLE IV
| Method | FHBc | ObMan |
| [^14](w/o contact) | 28.1 | 11.6 |
| [^14](w/ contact) | 28.8 | 11.6 |
| Ours(w/o contact) | 27.9 | 9.7 |
| Ours(w/ contact) | 27.5 | 9.6 |
Fig. 7. Qualitative comparison between our estimated hand meshes and ground truth meshes on the ObMan dataset. In the column of hand joints, we use the skeleton with opaque color to represent the estimated hand joints and the skeleton in semi-transparent color to represent the ground truth. Green points are randomly sampled from the ground truth object meshes. Results show that the estimated hand joints and meshes are close to the ground truth. Note that scales are changed in the visualization.
2) 手部估计性能：我们将本方法的手部估计结果与最先进的方法[^14]进行比较。所有测试帧上各关节的平均误差如表IV所示。在仅提供少量相似图像的具有挑战性的FHBc数据集上，
---
TABLE V
COMPARISON OF 3D OBJECT RECONSTRUCTION WITH [^14] ON THE OBMAN SYNTHETIC DATASET.CD IS THE SYMMETRIC CHAMFER ERROR. PD IS THE PENETRATION DEPTH.
| Method | CD $\downarrow$ | PD $\downarrow$ |
| [^14](w/o contact) | 641.5 | 9.5 |
| [^14](w/ contact) | 637.9 | 9.2 |
| Ours(w/o contact) | 405.1 | 9.6 |
| Ours(w/ contact) | 403.8 | 9.1 |
TABLE VI
COMPARISON WITH [^14] ON THE HIC DATASET. ${}^{\dagger}$ INDICATES THAT THIS VALUE IS AN APPROXIMATE VALUE OBTAINED FROM THE HISTOGRAM.
| Method | MPJPE $\downarrow$ | CD $\downarrow$ |
| [^14] | 27 $^{\dagger}$ | 450 $^{\dagger}$ |
| Ours | 7.5 | 62.2 |
我们的方法在两种设置下均优于[^14]。在无接触损失设置下，我们的方法得到的手部姿态误差为27.9毫米，而基线方法[^14]的误差为28.1毫米。引入接触损失后，我们的方法误差降低了4.5%（28.8毫米 vs 27.5毫米），而[^14]的MPIPE反而增加了2.5%。在大规模的ObMan数据集上，我们方法的性能比[^14]高出16.4%，我们的MPJPE为9.7毫米，而他们的MPJPE为11.6毫米。值得注意的是，加入接触损失后，[^14]中手部关节的精度保持不变或略有下降，而我们方法中的精度则有明显提升。我们认为这是因为所提出的LSTM特征融合模块有助于网络重构相对位置更合理的形状，而相对位置更好的形状能为加入接触损失的微调阶段提供更好的初始化。我们在图7中展示了测试集的可视化样本。
3) 物体估计性能：ObMan数据集[^14]提供了精确的物体标注，我们在表V中报告了在ObMan数据集上的物体重建精度。当不使用接触损失时，我们的物体重建结果已经远优于[^14]，CD误差从641.5显著降低到405.1，降幅达36.8%。在对网络进行加入接触计算的微调后，物体CD误差进一步从405.1降至403.81。在采用接触计算的情况下，物体CD误差比[^14]低36.7%。这种物体重建方面的巨大提升，凸显了我们所提出方法的显著效果。
4) 形状穿透结果：我们报告了手部与物体网格之间的穿透深度。在物理空间中，为了遵循手部和物体不应占据同一空间的原则，良好的手部和物体形状应表现出较低的穿透深度。如表V所示，未采用接触计算时，我们方法的穿透深度为9.6毫米；加入接触训练流程后，该数值降低了5.2%，降至9.1毫米。当加入接触计算后，我们提出的方法所产生的穿透程度比[^14]更小。
5) HIC数据集上的结果：对于小规模真实数据集而言，在大规模合成数据上预训练模型尤为重要。我们将在ObMan数据集上预训练的模型微调到HIC数据集，并与[^14]的性能进行对比。通过第IV-B节所述的数据筛选方式，HIC训练集仅包含150张图像，HIC评估集则包含251张图像。该网络先在ObMan数据集上预训练，再微调到HIC训练集，我们在表VI中比较了手-物体重建的结果。我们的方法得到的手部MPJPE为7.5毫米，物体CD值为62.2毫米；而[^14]对应的数值分别为27毫米和450毫米。这些结果表明，当使用少量真实世界训练数据时，我们的方法具备将合成数据预训练模型有效微调到真实数据集的强大能力。我们还发现，微调后的结果误差明显小于在大规模ObMan数据集及FHBc数据集上的评估结果。我们认为这可能是因为数据集中的物体类型仅有两种（即球体和立方体），且手部姿态配置相似（即手部用两根手指握住物体）。正因如此，仅需150个训练样本（通过旋转和平移进行数据增强）就足以让所提出的网络学习这些配置，从而获得良好的手-物体重建结果。
图8展示了来自ObMan和FHBc测试集的一些可视化演示图像。结果证明，我们的方法能够生成高质量的物体网格，可基于单目手-物体图像精准还原物体形状。图8的第五列和第十列显示，生成的手部和物体网格能够呈现三维空间中的手-物体关系。图11展示了更多来自ObMan测试集的生成形状。我们还在图9中展示了来自HIC评估集的可视化结果。
### 五、讨论
在图10中，我们展示了一些失败案例：在某些未见过的部分会产生不合理的物体形状，且手与物体之间的相对位置也难以被精确还原。通过引入更多形状先验来改进物体表示，并推理手与物体间的空间关系，或许能解决这些问题。
事实证明，形状先验对三维重建非常有帮助，无论是刚性物体[^85]还是非刚性物体[^20]均是如此。在我们的研究场景中，物体往往会被遮挡且类别未知，这使得三维物体重建极具挑战性。与能够利用类别信息的特定类别物体重建方法[^86]、[^87]不同，手通常会与形状先验不共享的不同物体发生交互。近期的研究[^34]、[^88]会先估计物体姿态，再利用每个物体的预定义形状来表示物体表面。尽管预定义形状能保证输出物体的准确性，但在实际应用中无法获取所有物体的网格模型。在完全不了解物体类别和形状先验的情况下，我们的方法（以及[^14]）仍能生成合理的物体表面，并揭示手与物体间的空间关系。未来的工作将合理引入一些形状先验以提升重建性能。
---
Fig. 8. Qualitative comparison of our method on the ObMan dataset (left) and the FHBc dataset (right). From left to right: input, estimated 3D hand pose, estimated hand mesh, estimated object mesh, estimated hand and object meshes. In the column of hand joints, we sample points from the ground truth object meshes to reveal the relationship between our estimated hand pose and the object. Note that we changed scales in the visualization.
Fig. 9. Qualitative visualization of our method on the HIC dataset. We use the skeleton with opaque color to represent the estimated hand joints and the skeleton in semi-transparent color to represent the ground truth. Besides, the green points are sampled from the ground truth object meshes and the red points are sampled from the estimated object meshes.
Fig. 10. Failure cases of our method on the ObMan dataset. From first row to second row, the shape of the invisible part is inaccurate (as circled in red). From third row to fourth row, the relative position between hand and object is inaccurate, which usually occurs when fingers cover the object.
在二维或三维空间中推理手与物体的空间关系也能对该任务起到促进作用。基于网格的方法（包括本研究和[^14]）利用接触损失来学习更合理的手-物交互表面，而[^88]则根据二者的空间关系优化输出的手和物体网格。除了在三维空间中优化输出外，在二维空间中推理手-物关系同样大有裨益。当环境存在噪声时，网络很难判断哪个物体与手发生了交互；此时在二维图像空间中检测手-物交互，再将二维结果用于三维手-物重建，会更加有效。
### 六、结论
为了应对手-物图像联合三维重建这一极具挑战性的任务，我们提出了一种端到端的特征融合网络，用于恢复手和物体的三维形状。我们引入了深度估计模块，从输入的RGB图像中预测深度图以增强空间属性。为了同时利用手和物体分支来提取更优的特征以供后续重建，我们提出将两个分支相连，并通过特征融合模块来融合它们的潜在表征。我们对所提出的LSTM特征融合模块以及几种常见的替代方案进行了研究。通过比较多种特征融合策略，我们发现跨分支信息对形状重建很有帮助，且所提出的LSTM特征融合模块在增强物体特征方面更为有效。在合成数据集和真实数据集上的实验结果均表明，我们的方法较以往的工作有显著提升。正如上文所建议的，未来的研究可以探索其他协作方式及更高效的中间表征，以实现更好的联合重建。我们还认为，除了研究手与物体之间的协作外，也应开展关于多个物体之间（如两只手与多个物体）的协作与关系的研究。
---
Fig. 11. Qualitative visualization of our method on the ObMan dataset. From left to right: input, estimated hand and object meshes (3 columns for 3 different views), estimated 3D hand joints (3 columns for 3 different views). In the columns of hand joints, we use the skeleton with opaque color to represent the estimated hand joints and the skeleton in semi-transparent color to represent the ground truth. Besides, the green points are sampled from the ground truth object meshes and the red points are sampled from the estimated object meshes. Note that scales are changed in the visualization.
---
[^1]: M. Höll, M. Oberweger, C. Arth, and V. Lepetit, “Efficient physics-based implementation for realistic hand-object interaction in virtual reality,” in Proc. VR. IEEE, 2018, pp. 175–182.
[^2]: Z. Tu, W. Xie, J. Dauwels, B. Li, and J. Yuan, “Semantic cues enhanced multimodality multivestment cnn for action recognition,” IEEE Trans Circuits Syst Video Technol., vol. 29, no. 5, pp. 1423–1437, 2018.
[^3]: Z. Tu, H. Li, D. Zhang, J. Dauwels, B. Li, and J. Yuan, “Action-stage emphasized spatiotemporal vlad for video action recognition,” IEEE Trans. Image Process., vol. 28, no. 6, pp. 2799–2812, 2019.
[^4]: S. Bambach, S. Lee, D. J. Crandall, and C. Yu, “Lending a hand: Detecting hands and recognizing activities in complex egocentric interactions,” in Proc. ICCV, 2015, pp. 1949–1957.
[^5]: X. Deng, Y. Zhang, S. Yang, P. Tan, L. Chang, Y. Yuan, and H. Wang, "Joint hand detection and rotation estimation using cnn," IEEE Trans. Image Process., vol. 27, no. 4, pp. 1888–1900, 2017.
[^6]: M. Kölsch and M. Turk, “Robust hand detection.” in Proc. FGR, 2004, pp. 614–619.
[^7]: P. Morerio, L. Marcenario, and C. S. Regazzoni, “Hand detection in first person vision,” in Proc. FUSION. IEEE, 2013, pp. 1502–1507.
[^8]: S. Narasimhaswamy, Z. Wei, Y. Wang, J. Zhang, and M. Hoai, “Contextual attention for hand detection in the wild,” in Proc. ICCV, 2019.
[^9]: C. Lugaresi, J. Tang, H. Nash, C. McClanahan, E. Uboweja, M. D. Hays, F. Zhang, C.-L. Chang, M. G. Yong, J. Lee, W.-T. Chang, W. Hua, M. Georg, and M. Grundmann, "Mediapipe: A framework for perceiving and augmenting reality," in Proc. CVPR Workshops, 2019.
[^10]: F. Mueller, F. Bernard, O. Sotnychenko, D. Mehta, S. Sridhar, D. Casas, and C. Theobalt, “Generated hands for real-time 3d hand tracking from monocular rgb,” in Proc. CVPR, 2018, pp. 49–59.
[^11]: A. Spurr, J. Song, S. Park, and O. Hilliges, “Cross-modal deep variational hand pose estimation,” in Proc. CVPR, 2018, pp. 89–98.
[^12]: S. Yuan, G. Garcia-Hernando, B. Stenger, G. Moon, J. Yong Chang, K. Mu Lee, P. Molchanov, J. Kautz, S. Honari, L. Ge et al., “Depth-based 3d hand pose estimation: From current achievements to future goals,” in Proc. CVPR, 2018, pp. 2636–2645.
[^13]: C. Zimmermann and T. Brox, “Learning to estimate 3d hand pose from single rgb images,” in Proc. ICCV, 2017, pp. 4903–4911.
[^14]: Y. Hasson, G. Varol, D. Tzionas, I. Kalevatykh, M. J. Black, I. Laptev, and C. Schmid, “Learning joint reconstruction of hands and manipulated objects,” in Proc. CVPR, 2019, pp. 11807–11816.
[^15]: E. Brachmann, A. Krull, F. Michel, S. Gumhold, J. Shotton, and C. Rother, "Learning 6d object pose estimation using 3d object coordinates," in Proc. ECCV. Springer, 2014, pp. 536–551.
[^16]: M. Oberweger, P. Wohlhart, and V. Lepetit, "Generalized feedback loop for joint hand-object pose estimation," IEEE Trans. Pattern Anal. Mach. Intell., 2019.
[^17]: B. Doosti, S. Naha, M. Mirbagheri, and D. Crandall, “Hope-net: A graph-based model for hand-object pose estimation,” in Proc. CVPR, 2020.
[^18]: J. Taylor, R. Stebbing, V. Ramakrishna, C. Keskin, J. Shotton, S. Izadi, A. Hertzmann, and A. Fitzgibbon, "User-specific hand modeling from monocular depth sequences," in Proc. CVPR, 2014, pp. 644–651.
[^19]: S. Khamis, J. Taylor, J. Shotton, C. Keskin, S. Izadi, and A. Fitzgibbon, “Learning an efficient model of hand shape variation from depth images,” in Proc. CVPR, 2015, pp. 2540–2548.
[^20]: J. Romero, D. Tzionas, and M. J. Black, “Embodied hands: Modeling and capturing hands and bodies together,” ACM Trans. Graph., vol. 36, no. 6, p. 245, 2017.
[^21]: M. Kokic, D. Kragic, and J. Bohg, “Learning to estimate pose and shape of hand-held objects from rgb images,” in Proc. IROS, 2020, pp. 3980–3987.
[^22]: Y. Hasson, B. Tekin, F. Bogo, I. Laptev, M. Pollefeys, and C. Schmid, "Leveraging photometric consistency over time for sparsely supervised hand-object reconstruction," in Proc. CVPR, 2020.
[^23]: Y. Tian, A. Luo, X. Sun, K. Ellis, W. T. Freeman, J. B. Tenenbaum, and J. Wu, “Learning to infer and execute 3d shape programs,” in Proc. ICLR, 2019.
[^24]: S. Hochreiter and J. Schmidhuber, “Long short-term memory,” Neural Comput., vol. 9, no. 8, pp. 1735–1780, 1997.
[^25]: J. Romero, H. Kjellström, and D. Kragic, “Hands in action: real-time 3d reconstruction of hands in interaction with objects,” in Proc. ICRA. IEEE, 2010, pp. 458–463.
[^27]: H. Hamer, K. Schindler, E. Koller-Meier, and L. Van Gool, "Tracking a hand manipulating an object," in Proc. ICCV. IEEE, 2009, pp. 1475–1482.
[^26]: H. Hamer, J. Gall, T. Weise, and L. Van Gool, “An object-dependent hand pose prior from sparse training data,” in Proc. CVPR. IEEE, 2010, pp. 671–678.
[^28]: L. Ballan, A. Taneja, J. Gall, L. Van Gool, and M. Pollefeys, “Motion capture of hands in action using discriminative salient points,” in Proc. ECCV. Springer, 2012, pp. 640–653.
[^29]: D. Tzionas, L. Ballan, A. Srikantha, P. Aponte, M. Pollefeys, and J. Gall, “Capturing hands in action using discriminative salient points and physics simulation,” Int. J. Comput. Vis., vol. 118, no. 2, pp. 172–193, 2016.
[^30]: S. Sridhar, F. Mueller, M. Zollhöfer, D. Casas, A. Oulasvirta, and C. Theobalt, “Real-time joint tracking of a hand manipulating an object from rgb-d input,” in Proc. ECCV. Springer, 2016, pp. 294–310.
[^31]: D. Tzionas and J. Gall, “3d object reconstruction from hand-object interactions,” in Proc. ICCV, 2015, pp. 729–737.
[^32]: Y. Gao, Y. Wang, P. Falco, N. Navab, and F. Tombari, “Variational object-aware 3-d hand pose from a single rgb image,” IEEE Robot. Autom. Lett., vol. 4, no. 4, pp. 4239–4246, 2019.
[^33]: S. Hampali, M. Oberweger, M. Rad, and V. Lepetit, “Honnotate: A method for 3d annotation of hand and object poses,” in Proc. CVPR, 2020.
[^34]: B. Tekin, F. Bogo, and M. Pollefeys, “H+ o: Unified egocentric recognition of 3d hand-object poses and interactions,” in Proc. CVPR, 2019, pp. 4511–4520.
[^35]: A. Tsoli and A. A. Argyros, “Joint 3d tracking of a deformable object in interaction with a hand,” in Proc. ECCV, 2018, pp. 484–500.
[^36]: K. Karunratanakul, J. Yang, Y. Zhang, M. Black, K. Muandet, and S. Tang, “Grasping field: Learning implicit representations for human grasps,” in Proc. 3DV, 2020.
[^37]: L. Keselman, J. Iselin Woodfill, A. Grunnet-Jepsen, and A. Bhowmik, “Intel realsense stereoscopic depth cameras,” in Proc. CVPR Workshops, 2017, pp. 1–10.
[^38]: Z. Zhang, “Microsoft kinect sensor and its effect,” IEEE multimedia, vol. 19, no. 2, pp. 4–10, 2012.
[^39]: P. Panteleris, I. Oikonomidis, and A. Argyros, “Using a single rgb frame for real time 3d hand pose estimation in the wild,” in Proc. WACV. IEEE, 2018, pp. 436–445.
[^40]: Y. Cai, L. Ge, J. Cai, and J. Yuan, “Weakly-supervised 3d hand pose estimation from monocular rgb images,” in Proc. ECCV, 2018, pp. 666–682.
[^41]: Y. Cai, L. Ge, J. Liu, J. Cai, T.-J. Cham, J. Yuan, and N. M. Thalmann, "Exploiting spatial-temporal relationships for 3d pose estimation via graph convolutional networks" in Proc ICCV 2019 nn 2272–2281
[^42]: U. Iqbal, P. Molchanov, T. Breuel Juergen Gall, and J. Kautz, “Hand pose estimation via latent 2.5 d heatmap regression,” in Proc. ECCV, 2018, pp. 118–134.
[^43]: H. Liang, J. Yuan, D. Thalmann, and Z. Zhang, “Model-based hand pose estimation via spatial-temporal hand parsing and 3d fingertip localization,” Vis Comput, vol. 29, no. 6-8, pp. 837–848, 2013.
[^44]: Y. Chen, Z. Tu, D. Kang, L. Bao, Y. Zhang, X. Zhe, R. Chen, and J. Yuan, “Model-based 3d hand reconstruction via self-supervised learning,” in Proc. CVPR, 2021.
[^45]: Y. Chen, Z. Tu, L. Ge, D. Zhang, R. Chen, and J. Yuan, “So-handnet: Self-organizing network for 3d hand pose estimation with semi-supervised learning,” in Proc. ICCV, 2019, pp. 6961–6970.
[^46]: L. Ge, Z. Ren, and J. Yuan, “Point-to-point regression pointnet for 3d hand pose estimation,” in Proc. ECCV, 2018, pp. 475–491.
[^47]: H. Guo, G. Wang, X. Chen, C. Zhang, F. Qiao, and H. Yang, “Region ensemble network: Improving convolutional network for hand pose estimation,” in Proc. ICIP. IEEE, 2017, pp. 4512–4516.
[^48]: G. Moon, J. Yong Chang, and K. Mu Lee, "V2v-posenet: Voxel-to-voxel prediction network for accurate 3d hand and human pose estimation from a single depth map," in Proc. CVPR, 2018, pp. 5079–5088.
[^49]: X. Sun, Y. Wei, S. Liang, X. Tang, and J. Sun, “Cascaded hand pose regression,” in Proc. CVPR, 2015, pp. 824–832.
[^50]: D. Tang, H. Jin Chang, A. Tejani, and T.-K. Kim, “Latent regression forest: Structured estimation of 3d articulated hand posture,” in Proc. CVPR, 2014, pp. 3786–3793.
[^51]: J. Malik, A. Elhayek, F. Nunnari, K. Varanasi, K. Tamaddon, A. Heloir, and D. Stricker, “Deephps: End-to-end estimation of 3d hand pose and shape by learning from synthetic depth,” in Proc. 3DV. IEEE, 2018, pp. 110–119.
## [^52]: L. Ge, Z. Ren, Y. Li, Z. Xue, Y. Wang, J. Cai, and J. Yuan, "3d hand shape and pose estimation from a single rgb image," in Proc. CVPR, 2019, pp. 10833–10842
---
[^53]: X. Zhang, Q. Li, H. Mo, W. Zhang, and W. Zheng, “End-to-end hand mesh recovery from a monocular rgb image,” in Proc. ICCV, 2019, pp. 2354–2364.
[^54]: C. Zimmermann, D. Ceylan, J. Yang, B. Russell, M. Argus, and T. Brox, "Freihand: A dataset for markerless capture of hand pose and shape from single rgb images," in Proc. ICCV, 2019, pp. 813–822.
[^55]: A. Boukhayma, R. d. Bem, and P. H. Torr, "3d hand shape and pose from images in the wild," in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2019, pp. 10843–10852.
[^56]: S. Baek, K. I. Kim, and T.-K. Kim, "Pushing the envelope for rgb-based dense 3d hand pose estimation via neural rendering," in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2019, pp. 1067–1076.
[^57]: G. Moon and K. M. Lee, “I2l-meshnet: Image-to-lixel prediction network for accurate 3d human pose and mesh estimation from a single rgb image,” in Proc. ECCV, 2020.
[^58]: C. B. Choy, D. Xu, J. Gwak, K. Chen, and S. Savarese, “3d-r2n2: A unified approach for single and multi-view 3d object reconstruction,” in Proc. ECCV. Springer, 2016, pp. 628–644.
[^59]: J. Wu, C. Zhang, X. Zhang, Z. Zhang, W. T. Freeman, and J. B. Tenenbaum, “Learning shape priors for single-view 3d completion and reconstruction,” in Proc. ECCV, 2018, pp. 646–662.
[^60]: H. Fan, H. Su, and L. J. Guibas, "A point set generation network for 3d object reconstruction from a single image," in Proc. CVPR, 2017, pp. 605–613.
[^61]: C.-H. Lin, C. Kong, and S. Lucey, “Learning efficient point cloud generation for dense 3d object reconstruction,” in Proc. AAAI, 2018.
[^62]: G. Riegler, A. Osman Ulusoy, and A. Geiger, “Octnet: Learning deep 3d representations at high resolutions,” in Proc. CVPR, 2017, pp. 3577–3586.
[^63]: M. Tatarchenko, A. Dosovitskiy, and T. Brox, “Octree generating networks: Efficient convolutional architectures for high-resolution 3d outputs,” in Proc. ICCV, 2017, pp. 2088–2096.
[^64]: T. Deprelle, T. Groueix, M. Fisher, V. Kim, B. Russell, and M. Aubry, “Learning elementary structures for 3d shape generation and matching,” in Proc. NeurIPS, 2019, pp. 7433–7443.
[^65]: G. Gkioxari, J. Malik, and J. Johnson, “Mesh r-cnn,” in Proc. ICCV, 2019, pp. 9785–9795.
[^66]: T. Groueix, M. Fisher, V. Kim, B. Russell, and M. Aubry, “Atlasnet: A papier-mâché approach to learning 3d surface generation,” in Proc. CVPR, 2018.
[^67]: H. Kato, Y. Ushiku, and T. Harada, “Neural 3d mesh renderer,” in Proc. CVPR, 2018, pp. 3907–3916.
[^68]: E. Smith, S. Fujimoto, A. Romero, and D. Meger, “Geometrics: Exploiting geometric structure for graph-encoded objects,” in Proc. ICML, 2019, pp. 5866–5876.
[^69]: N. Wang, Y. Zhang, Z. Li, Y. Fu, W. Liu, and Y.-G. Jiang, “Pixel2mesh: Generating 3d mesh models from single rgb images,” in Proc. ECCV, 2018, pp. 52–67.
[^70]: X. Li and X. Wu, “Constructing long short-term memory based deep recurrent neural networks for large vocabulary speech recognition,” in Proc. ICASSP. IEEE, 2015, pp. 4520–4524.
[^71]: I. Sutskever, O. Vinyals, and Q. V. Le, “Sequence to sequence learning with neural networks,” in Proc. NeurIPS, 2014, pp. 3104–3112.
[^72]: K. Lee, I. Lee, and S. Lee, “Propagating lstm: 3d pose estimation based on joint interdependency,” in Proc. ECCV, 2018, pp. 119–135.
[^73]: J. Liu, H. Ding, A. Shahroudy, L.-Y. Duan, X. Jiang, G. Wang, and A. K. Chichung, "Feature boosting network for 3d pose estimation," IEEE Trans. Pattern Anal. Mach. Intell., 2019.
[^74]: A. Shahroudy, J. Liu, T.-T. Ng, and G. Wang, “Ntu rgb+ d: A large scale dataset for 3d human activity analysis,” in Proc. CVPR, 2016, pp. 1010–1019.
[^75]: C. Zou, E. Yumer, J. Yang, D. Ceylan, and D. Hoiem, “3d-prnn: Generating shape primitives with recurrent neural networks,” in Proc. ICCV, 2017, pp. 900–909.
[^76]: J. Wu, Y. Wang, T. Xue, X. Sun, B. Freeman, and J. Tenenbaum, "Marnet: 3d shape reconstruction via 2.5 d sketches," in Proc. NeurIPS, 2017, pp. 540–550.
[^77]: X. Zhang, Z. Zhang, C. Zhang, J. Tenenbaum, B. Freeman, and J. Wu, “Learning to reconstruct shapes from unseen classes,” in Proc. NeurIPS, 2018, pp. 2257–2268.
[^78]: K. He, X. Zhang, S. Ren, and J. Sun, “Deep residual learning for image recognition,” in Proc. CVPR, 2016, pp. 770–778.
[^79]: Z. Wang, A. C. Bovik, H. R. Sheikh, E. P. Simoncelli et al., “Image quality assessment: from error visibility to structural similarity,” IEEE Trans. Image Process., vol. 13, no. 4, pp. 600–612, 2004.
[^80]: O. Russakovsky, J. Deng, H. Su, J. Krause, S. Satheesh, S. Ma, Z. Huang, A. Karpathy, A. Khosla, M. Bernstein et al., “Imagenet large scale visual recognition challenge,” Int. J. Comput. Vis., vol. 115, no. 3, pp. 211–252, 2015.
[^81]: A. X. Chang, T. Funkhouser, L. Guibas, P. Hanrahan, Q. Huang, Z. Li, S. Savarese, M. Savva, S. Song, H. Su, J. Xiao, L. Yi, and F. Yu, "Shapenet: An information-rich 3d model repository," arXiv:1512.03012, 2015. [Online]. Available:
[^82]: A. T. Miller and P. K. Allen, “Graspit! a versatile simulator for robotic grasping,” IEEE Robot. Autom. Mag., vol. 11, no. 4, pp. 110–122, 2004.
[^83]: G. Garcia-Hernando, S. Yuan, S. Baek, and T.-K. Kim, “First-person hand action benchmark with rgb-d videos and 3d hand pose annotations,” in Proc. CVPR, 2018, pp. 409–419.
[^84]: D. P. Kingma and J. Ba, “Adam: A method for stochastic optimization,” in Proc. ICLR, 2014.
[^85]: F. Engelmann, J. Stückler, and B. Leibe, “Joint object pose estimation and shape reconstruction in urban street scenes using 3d shape priors,” in Proc. GCPR. Springer, 2016, pp. 219–230.
[^86]: A. Kanazawa, S. Tulsiani, A. A. Efros, and J. Malik, “Learning category-specific mesh reconstruction from image collections,” in Proc. ECCV, 2018, pp. 371–386.
[^87]: S. Wu, C. Rupprecht, and A. Vedaldi, “Unsupervised learning of probably symmetric deformable 3d objects from images in the wild,” in Proc. CVPR, 2020.
[^88]: Z. Cao, I. Radosavovic, A. Kanazawa, and J. Malik, “Reconstructing hand-object interactions in the wild,” arXiv preprint arXiv:2012.09856, 2020.