# HandVoxNet++：基于体素的神经网络用于三维手形与姿态估计
贾米尔·马利克 $^{1,2,3}$、下田聪志 $^{5,6}$、艾哈迈德·埃尔哈耶克 $^{4}$
斯凯·阿齐兹·阿里 $^{1,2}$、克里斯蒂安·特奥博尔特 $^{5,6}$、弗拉迪斯拉夫·戈利亚尼克 $^{5,6}$、迪迪埃·斯特里克尔 $^{1,2}$
$^{1}$凯泽斯劳滕工业大学 $^{2}$德国人工智能研究中心 $^{3}$巴基斯坦国立科技大学 $^{4}$沙特阿拉伯穆罕默德六世理工大学
$^{5}$马克斯·普朗克计算机科学研究所 $^{6}$萨尔兰信息学校区
摘要—从单张深度图进行三维手形与姿态估计是一个全新且极具挑战性的计算机视觉问题，具有广泛的应用前景。现有直接解决该问题的方法是通过二维卷积神经网络回归手部网格，但由于图像中的透视畸变，会产生伪影。为克服现有方法的局限性，我们开发了HandVoxNet++，即一种采用三维和图卷积的基于体素的深度网络，采用全监督方式训练。我们的网络输入是基于截断有向距离函数（TSDF）的三维体素化深度图。HandVoxNet++依赖两种手形表示方式：第一种是三维体素化手形网格，它不保留网格拓扑结构，但是最精确的表示方式；第二种表示方式是保留网格拓扑结构的手部表面。我们通过将手部表面与体素化手形对齐来结合两种表示方式的优势，对齐方式既可以采用全新的基于图卷积的网格配准方法（GCN-MeshReg），也可以采用无需训练数据的传统分段非刚性引力算法（NRGA++）。我们在三个公开基准测试集——SynHand5M、基于深度的HANDS19挑战赛数据集以及HO-3D上对所提出的HandVoxNet++进行了广泛评估，其性能达到了最先进水平。在本刊中，我们对之前在CVPR 2020上提出的方法进行了扩展，在SynHand5M和HANDS19数据集上，我们的方法形状对齐精度分别提高了41.09%和13.7%。在2020年8月我们将结果提交至相关门户时，我们的方法在HANDS19挑战赛数据集（任务1：基于深度的三维手姿估计）中排名第一。
索引词—基于单张深度图的三维手形与姿态估计、体素化手形、图卷积、TSDF、三维数据增强、形状配准、GCN-MeshReg、NRGA++。
## 1 引言
T $^{RACKING}$ 以及人类手部姿态的三维重建是一个被广泛研究的计算机视觉问题，它经常出现在用户身份验证、增强现实与虚拟现实、游戏、电影制作以及人体动作捕捉与分析等领域 [^1]、[^2]、[^3]、[^4]。精准的三维手部追踪能够促进手势识别，并为人机交互创造新的界面。尽管目前已有多种针对RGB图像和深度图像的精准三维手部姿态估计神经方法 [^2]、[^5]、[^6]、[^7]，但从单张深度图中同时估计三维手部姿态和三维形状仍是一个新兴的研究方向。
这个问题颇具挑战性，因为为真实图像中的手部三维形状进行标注十分繁琐，这主要是由于手部形态各异、存在自遮挡现象（导致深度图中数据缺失）、自由度（DOF）数量庞大以及手部各部位的相似性所致。另一方面，密集的三维手部网格是一种更为丰富的表达方式，在许多情况下比单纯的三维关节数据更有用 [^8], [^9], [^10], [^11]。借助神经机器学习领域的最新进展，现已涌现出多种用于同时估计手部姿态和形状算法 [^10], [^12], [^13], [^14], [^15], [^16]。Malik等人 [^16] 提出了一种基于二维卷积神经网络（CNN）的方法，可直接从二维深度图估算手部形状。但由于其手部模型的表征能力有限，恢复出的形状会存在伪影 [^10], [^14]。即便将逼真的统计手部模型（如MANO [^9] 或HTML [^11]）嵌入深度神经网络中 [^12], [^14]，也会遇到同样的问题。与这些基于模型的方法 [^12], [^16] 不同，Ge等人 [^14] 提出的直接回归法仅利用单目RGB图像就能获得更精确的结果。另一种近期出现的从单张深度图直接进行回归的技术是 [^10]。
上述所有方法都将深度图视为二维信号，并用二维CNN进行处理，尽管深度图本质上提供的是2.5D数据。训练二维CNN根据深度图的二维表示来估算三维手部姿态或形状的过程极具非线性，会导致估算结果出现透视失真现象 [^6]。V2V-PoseNet [^6] 是首个利用深度图的三维体素网格来回归三维关节热图、从而避免透视失真的研究成果。不过，由于内存需求极高，要将该技术扩展用于形状估算并直接回归网格顶点的三维热图在实践当中并不可行。
在本文中，我们提出了据我们所知首个采用三维CNN与图卷积技术的架构——HandVoxNet++，该架构能够根据体素化后的深度图同时估算三维形状和三维姿态。
---
请参阅图1以获取概览。HandVoxNet++基于三维卷积和图卷积，能够回归出两种不同的手部形状表示，即体素化手部形状和手部表面（第3–5节）。体素化手部形状是通过一种基于截断有符号距离场（TSDF）的新型体素到体素网络来估计的，该网络建立了体素化深度图与体素化手部形状之间的一一映射关系。由于所估计的体素化形状无法保留手部网格拓扑结构和顶点数量，我们还会利用体素到表面网络来估计手部表面。体素到表面网络并不建立体素化深度测量值与形状之间的一一映射；虽然所估计的手部表面精度较低，但能保留手部拓扑结构。为了结合两种表示方式的优势，我们将估计出的手部表面与估计出的体素化手部形状进行配准。在[^17]中，我们介绍了两种不同类型的形状配准方法，即基于CNN的[^18]和基于NRGA的[^19]。在本文中，我们提出了两种额外且更精准的新颖配准算法，即GCN-MeshReg和NRGA++。在GCN-MeshReg中，我们利用图卷积来显式地利用手部形状的拓扑结构。用于点集对齐的非刚性引力法（NRGA）[^19]经过扩展后能够支持分割后的手部表面；我们将这种扩展后的配准方法称为NRGA++。接下来，为了提升手部姿态估计的鲁棒性和精度，我们对体素化深度图进行了三维数据增强处理（第4.4节）。
我们的主要贡献是提出了全新的、处于业界领先水平的Hand-VoxNet++方法，该方法能够从单张深度图中估计三维手部形状和姿态。该方法包含采用三维CNN的体素到体素网络及体素到表面网络，还有两个经过改进和优化的网格配准组件。本研究是我们会议论文[^17]的延伸。与[^17]相比，本文的新贡献包括：
- 一种用于三维手部姿态估计的基于TSDF的体素到体素网络（第4.1节）。与[^6]中采用的二进制体素化网格表示相比，我们基于TSDF的深度图表示在精度上提升了19.8%（第6.3节）。
- 首项将图卷积应用于手部网格与三维体素化手部形状之间配准问题的研究（第4.3.1节）。此外，我们提出了一种新颖的形状配准迭代优化策略，相较于[^17]，该策略能显著提升精度和计算效率（第6.2节）。
- 一种新的分段式点集对齐方法NRGA++，其速度比$\sim$中提出的NRGA快[^17]150倍（第4.3.2节和第6.2节）。
- 我们在三个最新的基准测试集（即SynHand5M、基于深度的HANDS19挑战赛以及HO-3D [^20]）上进行的大量实验表明，HandVoxNet++取得了以下成果：
1) 性能优于或可与现有方法相媲美；
2) 与业界领先的HandVoxNet方法相比，能生成更精准的手部形状[^17](Sec. 6)；
3) 在2020年8月向HANDS19挑战赛官网提交成果时，我们在“基于深度的三维手部姿态估计”任务中荣获第一名。
## 2 相关工作
本节我们将回顾现有的、最相关的基于RGB图像和深度图像的神经手部姿态与形状估计方法。
神经手部姿态与形状估计。大多数从单目RGB图像、深度图像及事件流中进行3D手部重建和跟踪的方法，仅能估计手部姿态，即一组稀疏的3D手部关节[^1]、[^2]、[^3]、[^21]、[^22]、[^23]、[^24]。能够同时估计手部形状和姿态的方法仍属少数。Malik等人[^16]提出了首个基于单张深度图像的手部姿态与形状估计深度神经网络。为此，他们开发了一种基于模型的手部姿态与形状层，并将其嵌入到该深度网络中。由于在网络中优化复杂的手部形状参数存在困难，他们的方法会产生伪影。Ge等人[^14]开发了一种基于直接回归的算法，用于从单张RGB图像中估计手部姿态与形状。他们指出，由于训练数据量较少且用于形状恢复的线性基函数有限，统计可变形手部模型（即MANO [^9]）的表达能力可能受限。[^12]、[^25]、[^26]提出了类似的基于MANO手部模型的神经方法，这些方法使用单目RGB图像。Qian等人[^11]提出了首个参数化手部纹理模型，该模型可应用于从单张图像进行3D手部重建和个性化处理，同时还设计了差分神经手部外观层。随后，在[^10]中提出了一种使用单张深度图像的弱监督神经方法。[^27]利用2D全卷积神经架构直接回归手部网格顶点和密集对应图。在[^28]中，研究人员利用了多种手部训练数据源来训练深度学习架构，该架构可根据单目RGB图像估计3D姿态；之后再利用3D姿态来估计形状参数。
上述所有方法均采用2D CNN，并将深度图（支持深度图的方法）视为2D数据。因此，深度网络很可能会在形状和姿态估计中产生透视畸变[^6]。相比之下，我们提出了首个基于3D卷积的架构，该架构能有效建立体素化深度图与体素化手部形状之间的一一映射关系。这种一一映射能够更精确地重建手部形状。
形状配准。近年来，图卷积网络（GCN）在计算机视觉领域受到了广泛关注。GCN的概念由[^29]提出，用于半监督分类。此后，它被用于开发解决诸多计算机视觉问题的强大方案。例如，Kolotouros等人[^30]应用基于图卷积的架构，根据2D RGB图像和人体模板网格来回归人体3D形状和姿态。Tretsch等人[^31]证明了图卷积在网格自动编码中的有效性，包括来自SynHand5M数据集的手部数据[^16]。基于GCN的模型可用于手部……
---
Fig. 1. Overview of our approach for 3D hand shape and pose recovery. The framework consists of three stages. In Stage 1, V2V-PoseNet accurately estimates 3D joints heatmaps $\mathcal{H}_{i}$ (i.e., pose) from the TSDF-based 3D voxelized depth map $V_{D}$. The final hand shape $\mathcal{V}_{out}$ is estimated by the following stages. In Stage 2, V2V-ShapeNet and V2S-Net estimate the voxelized shape $\hat{V}_{S}$ and shape surface $\hat{V}_{T}$ using 3D-convolution-based neural networks, respectively. Finally, in Stage 3, graph-convolution-based mesh registration (i.e., GCN-MeshReg) accurately fits $\hat{V}_{T}$ to $\mathcal{V}_{S}$. In the registration phase, a voxel feature extractor (VFE) first extracts a feature vector which is connected to each node ( $X_{i}, Y_{i}, Z_{i}$) of the input graph. The output graph provides the deformed 3D mesh vertices. In the refinement cycle, this estimate is further improved in an iterative manner.
以及物体姿态估计，这一模型在[^32]中被提出。与其他研究不同，我们提出了一种基于GCN的精确且快速的方法，用于网格到体素化形状的配准，并采用迭代细化策略。另一方面，全卷积网络在几何回归任务中表现优异[^6]、[^33]、[^34]、[^35]。
基于深度的手部姿态估计。总体而言，基于深度学习的手部姿态估计方法可分为两类。第一类是判别性方法，它们利用CNN直接估算关节位置 [^5], [^6], [^7], [^36], [^37], [^38], [^39], [^40], [^41]。第二类是混合方法，它们会在深度网络中显式融入手部结构 [^42], [^43], [^44], [^45], [^46]。与混合方法相比，判别性方法的精度更高。体素对体素方法 [^6] 非常强大且高效，因为它利用3D卷积来建立3D体素化深度图与手部关节3D热图之间的一一映射关系。值得注意的是，深度图的体素化表示最适合用于3D数据增强，以提升估计的鲁棒性和精度。部分方法会对深度图 [^45], [^47] 或体素化深度图 [^6] 进行数据增强。在本研究中，我们将体素对体素方法整合到我们的流程中，此外还对体素化深度图进行新的3D数据增强，从而进一步提升3D姿态估计的效果。体素对体素方法将2D深度图转换为3D二值体素网格表示，但由于二值量化处理，会丢失3D点云中的信息。Ge等人 [^48] 采用了深度图的TSDF表示，但他们利用神经架构直接回归关节位置，并未建立深度图与姿态之间的一一对应关系。相比之下，我们提出建立2D深度图的基于TSDF的3D体素化网格与关节位置3D热图之间的一一映射关系。TSDF表示能更好地捕捉3D点云的信息，从而显著提升3D手部姿态估计的精度。
## 3 方法概述
给定输入深度图，我们的目标是估计N个三维关节位置 $\mathcal{J} \in \mathcal{R}^{3 \times N}$（即三维姿态）以及K个三维顶点位置 $\mathcal{V} \in \mathcal{R}^{3 \times K}$（即三维形状）。图1展示了所提出方法的概览。利用相机内参、固定的立方体尺寸以及截断有向距离函数（第4.1节），输入会被转换为大小为 $V_D$ 的体素化网格（即 $88 \times 88 \times 88$）。对于手部姿态估计（即第一阶段），$V_D$ 会被作为输入提供。
---
输入到体素到体素姿态回归网络（即V2V-PoseNet）中的数据可以直接估计3D关节热图 $\{\mathcal{H}_j\}_{j=1}^N\}. Each 3D joint heatmap is represented as$44 × 44 × 44$voxelized grid. The input of the shape estimation network (i.e., stage 2) is the concatenation of$\mathcal{H}_j$(i.e., the output of Stage 1) and$\mathcal{V}_D。我们将这种拼接后的输入称为\mathcal{I}_S。为此，我们将\mathcal{V}_D调整大小为44 × 44 × 44$voxel grid size (i.e.,$\mathcal{V}_D^{\prime}$). The voxelized hand shape (i.e.,$，而64 × 64 × 64$binary grid) is directly regressed via 3D CNN-based voxel-to-voxel shape regression network (i.e., V2V-ShapeNet), by using$\mathcal{I}_S$as an input. Notably, V2V-ShapeNet establishes a one-to-one mapping between the voxelized depth map and the voxelized shape. Therefore, it produces an accurate voxelized shape representation but does not preserve the topology of hand mesh and the number of mesh vertices. To regress hand surface,$\mathcal{I}_S$is fed to the 3D CNN-based voxel-to-surface regression network (i.e., V2S-Net). Since the mapping between$\mathcal{I}_S$and hand surface is not one-to-one, it is therefore less accurate. To combine the advantages of the two hand shape representations, Stage 3 registers the estimated hand surface to the estimated voxelized hand shape. The voxelized shape is provided as an input to a 3D convolution-based network that produces a feature vector$f$of size = 2187.$f会被拼接到手部网格的每个节点上。这种表示形式被作为输入送入图卷积神经网络，网络会输出与体素化手部形状相匹配的注册后的手部形状。我们以图卷积网络的输出作为新的模板手部形状重复这一过程，我们将其称为细化循环。借助这种细化循环，我们最终能得到高精度且平滑的手部形状。请注意，图1是基于GCN-MeshReg绘制的，因为它能实现最佳性能。不过，第三阶段可以替换为其他配准方法，如DispVoxNet、NRGA或NRGA++。
## 4 所提出的HandVoxNet方法
在本节中，我们将介绍所提出的HandVoxNet++方法，重点阐述其各个组件的功能和有效性。我们开发了一种通过基于体素的卷积网络生成合理手部形状的有效解决方案。为此，我们的方法利用估计出的手部关节3D热图作为强姿态先验，同时利用体素化深度图来精确估计手部形状表示。此外，我们对体素化深度图进行的3D数据增强能够进一步提升3D手部姿态估计的准确性和鲁棒性。
### 4.1 体素化输入表示
本节中，我们将讨论将2D图像中的深度图转换为3D体积的两种可能方式：即占用网格和基于TSDF的网格。进行这种修改的主要动机是，3D手部的深度图表示在从3D空间投影到2D图像空间时会导致手部变形。这使得训练过程更具挑战性，因为网络接收到的输入是真实手部的变形表示。深度图表示的另一个缺点是它与3D输出之间存在高度非线性的映射关系，这会加大学习难度 [^6]。
为了克服这些限制，输入的深度图应被编码为体素化表示。最简单的体素化表示是占用（二进制）网格 [^6]。虽然这种表示能够克服深度图的局限性，但它无法区分观测表面后方和前方的体素。原因在于它是基于关于3D手部形状的不完整信息生成的（即仅能捕捉相机视角下观测到的表面的深度图）。
我们利用TSDF将深度图编码为3D体素化网格表示。首先把输入的深度图转换为一组3D点，随后在范围 [^1] [^88] 内对这些点进行离散化处理（详见第5节）。然后，通过计算每个体素k对应的$88 \times 88 \times 88$，就能创建出大小为$V_{D}$（即$V(k)$）的3D体素化网格。在TSDF表示中，$V(k)$可通过以下公式求得：
$$ \mathrm{V}(k)=\min(\max(\mathrm{d}(k_{c})/\mu,-1),+1), $$
其中，$d(k_c)$ 表示体素中心 $k_c$ 到离散化三维点集中最近表面点的有符号距离。我们采用标准的欧几里得距离。如果 $d(k_c)$ 的深度值小于最近表面点的深度值，则 $k_c$ 的符号为正；否则为负。我们将 $\mu = 3$ 用作截断后的距离值。在精确的TSDF表示中，需要通过遍历所有三维点来寻找最近的表面点，这一过程非常耗时，因此不适合实时应用。投影式TSDF [^49] 在实际应用中更为可行，因为最近表面点是在相机坐标系下的视线上计算的。不过，投影式TSDF只是精确TSDF的近似，因此会丢失部分信息 [^50]。在投影方向TSDF表示 [^51] 中，体素值存储的是指向最近点的三维偏移向量（即 $[dx, dy, dz]$）。在第6节的实验中，我们证明了投影式TSDF表示在我们的案例中性能最佳，它能够有效建立基于TSDF的体素化深度图与关节三维热图之间的一一对应关系。
### 4.2 三维手部形状估计
如前所述，利用二维CNN从二维深度图估计三维手部形状是一个高度非线性的映射过程。这要求网络进行不受透视畸变影响的估计，从而给形状学习带来困难。为解决这一挑战，我们开发了一种完全基于体素的深度网络，该网络能有效利用估计的三维姿态和体素化深度图来生成合理的三维手部形状。我们提出的三维形状估计方法包含两个主要阶段：第一阶段估计形状表面和体素化手部形状；第二阶段将估计出的形状表面与体素化手部形状进行配准。我们探讨了多种配准方法并给出了它们的对比分析。
体素化形状估计。我们的思路是通过基于三维CNN的网络以体素化形式估计三维手部形状。这种方式能让网络在估计形状时最大限度地减少透视畸变的影响。
---
受近期研究 [^10] 中提出的方法的启发，我们将稀疏的三维关节视为密集三维形状的潜在表示。但在本研究中，我们将三维姿态与深度图相结合，从而能更精确地描述手部形状。此外，这里我们使用了更精确且有用的三维姿态和二维深度图像表示，分别是三维关节热图和体素化深度图。V2V-ShapeNet模块如图1所示，它可被视为三维形状解码器：
$$ \hat{\mathcal{V}}_{S}\sim{D e c}(\mathcal{H}_{j}\oplus\mathrm{V}_{\mathrm{D}}^{\prime})=p(\mathcal{V}_{S}|\mathcal{I}_{S}), $$
其中 $p(\mathcal{V}_S|\mathcal{I}_S)$ 是解码后的分布。解码器 $\text{Dec}(\cdot)$ 会学习将体素化手部形状 $\hat{\mathcal{V}}_S$ 尽可能还原为真实的体素化手部形状 $\mathcal{V}_S$。V2V-ShapeNet是一种基于三维CNN的架构 [^17]，它能直接估计体素化形状中每个体素属于背景（即0）还是形状体素（即1）的概率。体素化形状重建的逐个体素二元交叉熵损失 $\mathcal{L}_{\mathcal{V}_S}$ 表示为：
$$ \mathcal{L}_{\mathcal{V}_{S}}=-\big(\mathcal{V}_{S}\log(\hat{\mathcal{V}}_{S})+(1-\mathcal{V}_{S})\log(1-\hat{\mathcal{V}}_{S})\big), $$
其中 $\mathcal{V}_{S}$ 和 $\tilde{\mathcal{V}}_{S}$ 分别为真实的和估计的体素化手部形状。
形状表面估计。为了改善形状配准效果，形状表面的手部姿态与体素化形状需保持相似。为实现配准，我们采用V2S-Net深度网络[^17]来直接回归得到V。基于前文提到的手部形状解码的类似原理，$I_S$被作为输入提供给该网络，而解码输出即为重建的手部网格（见图1）。手部形状表面重建损失$\mathcal{L}_{V_T}$由标准的欧几里得损失定义如下：
$$ \mathcal{L}_{\mathcal{V}_{T}}=\frac{1}{2}\left\|\hat{\mathcal{V}}_{T}-\mathcal{V}_{T}\right\|^{2}, $$
其中$V_{T}$和$\hat{V}_{T}$分别为对应的真实值手部形状表面与重建后的手部形状表面。
### 4.3 形状配准
如前所述，V2S-Net能够估计手部形状，同时保留点的顺序与数量。遗憾的是，由于V2S-Net在网格顶点回归时使用了全连接（FC）层，它会丢失局部空间信息。尽管通过3D卷积层估计体素化手部形状能保证输入与输出之间的一一映射关系，但会导致点的数量不一致且顺序混乱。
为了在依赖体素化手部形状表示的同时保留手部形状的拓扑结构，我们将V2S-Net估计出的形状与V2V-ShapeNet估计出的概率形状表示进行配准。因此，我们提出了一种新的神经形状配准方法GCN-MeshReg（见4.3.1节），以及一种经典的基于优化的分段非刚性引力方法，我们将其简称为NRGA++（见4.3.2节）。我们的神经形状配准算法不仅比传统的基于优化的方法精度更高，速度也更快。不过，与NRGA++相比，它需要用于手部形状对齐的训练数据集。因此，NRGA++能够很好地处理来自深度传感器的、未提供手部形状标注的真实世界数据集。与[^17]中的形状对齐方法相比，GCN-MeshReg在手部形状对齐精度上显著优于DispVoxNet，而NRGA++在运行时间与精度方面均优于逐点NRGA。
#### 4.3.1 GCN-MeshReg：神经形状配准
在本小节中，我们采用了基于CNN的方法，并提出了一种新的基于GCN的形状配准算法，即DispVoxNets和GCN-MeshReg。这两个组件共同构成了端到端的深度网络，能够从单张深度图像中重建出完整的三维手部网格与姿态。
基于CNN的形状配准。原始的DispVoxNets[^18]包含两个阶段，即全局位移估计与细化。细化阶段会消除以点集形式表示的底层表面的粗糙度。与原始方法[^18]不同，由于已知手部网格的拓扑结构，我们用拉普拉斯平滑[^52]取代了细化阶段。
在DispVoxNet中，首先将手部表面形状$\hat{\mathcal{V}}_T$转换为尺寸为$\hat{\mathcal{V}}_T'$的体素化网格$64 \times 64 \times 64$。DispVoxNet会估计参考形状$64^3 \times 3$与体素化手部表面$\hat{\mathcal{V}}_S$之间各体素的维度位移$\hat{\mathcal{V}}_T'$。位移损失$\mathcal{L}_{\text{Disp}}$的定义如下：
$$ \mathcal{L}_{D i s p.}=\frac{1}{Q^{3}}\left\|\mathbf{d}-D_{v n}(\hat{\mathcal{V}}_{S},\hat{\mathcal{V}}_{T}^{^{\prime}})\right\|^{2}, $$
其中，$D_{vn}(\cdot)$ 代表基于DispVoxNet的配准网络，该网络源自[^17]。Q和d分别表示体素网格尺寸以及真实位移量。由于难以获取体素化形状$\hat{V}_S$与手部表面$\hat{V}_T$之间的位移量d，因此首先计算出$\mathcal{V}_T$与$\hat{V}_T$之间的位移量，再将其离散化以得到d。关于真实体素化网格计算方法的更多细节，请参阅[^18]。
基于GCN的形状配准。在本文中，我们提出了首个——据我们所知——基于GCN的网格到体素形状配准算法，名为GCN-MeshReg。近年来，GCN在计算机视觉领域受到了广泛关注[^30]、[^53]、[^54]。我们发现，与基于CNN的形状配准方法相比，GCN是解决此类对齐问题的更佳选择，原因有以下几点：首先，GCN在学习图结构数据的正确表示方面能力更强；其次，由于网格可以自然转换为图，因此可以利用基于图的技术来解决手部网格配准问题；第三，图卷积能够学习顶点间的关系，从而生成可行且平滑的手部网格。
我们的GCN-MeshReg算法受到[^29]和[^30]的启发，这两种方法分别利用图卷积进行数据分类[^29]以及单图像形状回归[^30]。GCN-MeshReg专为形状对齐而设计，在多个方面与[^29]、[^30]存在差异，具体架构细节可参见表1。我们的方法假设参考形状由体素占据概率表示，而模板则是一个手部网格。此外，该算法还包含迭代优化循环。与大多数仅处理点云并直接估计顶点位置或位移的算法不同，GCN-MeshReg明确考虑了网格拓扑结构。
---
| ID | Layer | Output Sz | Kernel Sz | Stride/Padding |
| 1 | Input | (1) $64 \times 64 \times 64$ | - | -/- |
| 2 | 3D Conv | (16) $64 \times 64 \times 64$ | $7 \times 7 \times 7$ | 1/3 |
| 3 | LeakyReLU | (16) $64 \times 64 \times 64$ | - | -/- |
| 4 | 3D MaxPooling | (16) $32 \times 32 \times 32$ | $2 \times 2 \times 2$ | 2/0 |
| 5 | 3D Conv | (8) $32 \times 32 \times 32$ | $5 \times 5 \times 5$ | 1/2 |
| 6 | LeakyReLU | (8) $32 \times 32 \times 32$ | - | - |
| 7 | 3D MaxPooling | (8) $16 \times 16 \times 16$ | $2 \times 2 \times 2$ | 2/0 |
| 8 | 3D Conv | (4) $16 \times 16 \times 16$ | $3 \times 3 \times 3$ | 1/1 |
| 9 | LeakyReLU | (4) $16 \times 16 \times 16$ | - | -/- |
| 10 | 3D MaxPooling | (4) $8 \times 8 \times 8$ | $2 \times 2 \times 2$ | 2/0 |
| 11 | 3D Deconv | (3) $9 \times 9 \times 9$ | $4 \times 4 \times 4$ | 1/1 |
| 12 | Flatten | 2187 | - | - |
TABLE 1
The architecture details of the voxel feature extractor (VFE) in GCN-MeshReg. The negative slope for LeakyReLU is 0.01.
对点云进行操作并直接估计顶点位置或位移 [^18]、[^55]、[^56]。通过比较先前的基于 CNN 的配准方法 DisPVoxNets [^18] 与所提出的基于 GCN 的替代方法（i.e., GCN-MeshReg）的性能，我们表明图卷积显著提高了手部网格配准的性能，我们将在 Sec. 6 中对此进行讨论。
GCN-MeshReg包含两个阶段：一是利用基于3D卷积的体素特征提取器（VFE）从体素化形状$\hat{V}_S$中提取特征；二是利用GCN进行形状配准阶段$G_{cnn}$。与DispVoxNets不同，GCN-MeshReg中的图卷积通过构建行归一化的邻接矩阵$\hat{\mathbf{A}} \in \mathbb{R}^{K \times K}$来利用顶点连通性信息。
请参见图1-（第3阶段）以了解GCN-MeshReg的概览。首先，VFE接收$\hat{V}_S$并获取其特征向量$\mathbf{f} \in \mathbb{R}^{2187}$。随后将$\mathbf{f}$复制，并与每个顶点$v \in \mathbb{R}^u$上的$\hat{V}_T$进行拼接。由于我们数据集中的顶点包含x、y和z坐标，因此会有$u = 3$。$G_{cnn}$接收这些带有拼接特征的顶点以及$\tilde{\mathbf{A}}$，通过图卷积操作后得到配准后的输出形状。在细化阶段，我们会重复相同流程以获得更高精度的配准结果：将上一步配准的输出形状作为新的模板形状输入给$G_{cnn}$。细化阶段结束后，GCN-MeshReg会返回最终的3D手部形状$\mathcal{V}_{out}$。细化阶段的重要性在第6节的表4中有所体现，该表总结了各配准组件对最终结果的影响。
对于$G_{cnn}$，我们采用了与[^29]类似的公式：
$$ \mathbf{Y}=\sigma(\mathbf{\hat{A}}\mathbf{X}\mathbf{W}), $$
其中，$\sigma(\cdot)$表示激活函数，$\mathbf{X} \in \mathbb{R}^{K \times p}$是输入到图卷积层的数据，而$\mathbf{W} \in \mathbb{R}^{P \times s}$则是$G_{cnn}$中图卷积层的权重矩阵。p代表每个手部顶点的特征维度。在本研究中，第一层图卷积层的$\mathbf{X}$是指带有拼接特征f的模板手部顶点；后续图卷积层的$\mathbf{X}$则来自前一层的输出。在该公式中，行归一化的邻接矩阵$\hat{\mathbf{A}}$明确地将特征聚合与非相连顶点隔离开来，这有助于网络提取与网格数据拓扑相关的有效特征。经过i次细化步骤后，$G_{cnn}$的操作可表述如下：
$$ \mathcal{V}_{{o u t}}=\left\{\begin{aligned}{}&{{}G_{{c n n}}^{i=0}(\mathbf{\hat{A}},\mathbf{f},\hat{\mathcal{V}}_{T})}\\ {}&{{}G_{{c n n}}^{i=n}(\mathbf{\hat{A}},\mathbf{f},G_{{c n n}}^{i=n-1})\quad(n>0).}\\ \end{aligned}\right. $$
最终输出$V_{out}$会被进一步整合进目标函数$\mathcal{L}_{reg}$中：
$$ \mathcal{L}_{r e g.}=\frac{1}{\mathrm{K}}\left\|\mathcal{V}_{T}-\mathcal{V}_{o u t}\right\|^{2}. $$
#### 4.3.2 我们的经典形状配准算法
尽管神经配准方法能在较短时间内实现高精度配准，但这类方法的性能受限于训练数据集的可用性。像HANDS19 [^57]和HO-3D [^20]等近期数据集同时标注了手部姿态和形状信息。然而，诸如MSRA [^58]、NYU [^47]、ICVL [^59]、MSRC [^60]、FHAD [^61]等基准数据集并未提供手部形状标注。因此，若无法获得手部的真实形状数据，我们就需要寻找神经配准方法的替代方案。基于此，除了DispVoxNet和GCN-MeshReg（见4.3.1节）之外，我们提出了NRGA++——一种用于把模板网格$\hat{\mathcal{V}}_T$与参考体素化手部$\mathcal{V}_S$进行配准的经典物理算法，它是NRGA [^19]的改进版本。我们选择NRGA是因为它能保留局部手部网格的拓扑结构，且对$\hat{\mathcal{V}}_S$中的噪声具有较强鲁棒性。
NRGA将模板点集划分为相互重叠的区域，每个区域都会与参考模型中的对应影响区域进行刚性匹配。某个点的最终位移是通过对该点所属的各个分段进行刚性变换后取共识得到的。NRGA是一种计算成本较高的迭代方法，其点位置的更新是通过模拟牛顿粒子动力学来实现的。在NRGA++中，我们省去了通用的自动区域分配步骤，而是选择MANO手部模型的各个分段作为模板区域，如图2所示。此外，图2还展示了MANO模型的21个关节是如何映射到这些重叠的手部分段上的。对于末端执行器而言，我们会选取距离关节最近的分段中一半的顶点。除此之外，NRGA++的其他步骤与原始的NRGA一致（例如构建k-d树以及计算各点的共识变换），更多细节可参见[^19]。这种逐分段的点集对齐策略显著提升了NRGA++的运行效率。而且，NRGA++依赖于拓扑信息，也就是顶点连通图，因此能够保留手部网格的结构。
### 4.4 三维数据增强
我们的手部形状估计方法依赖于3D姿态估计的准确性，因此手部姿态估计方法必须既准确又鲁棒。训练数据的增强有助于提升深度网络的性能[^45]。现有的手部姿态估计方法[^45]、[^47]均采用二维数据增强技术，这主要是因为这些方法将深度图视为二维数据。将深度图以体素形式表示后，进行数据增强会更加方便。
---
Fig. 2. Selection of Segments in NRGA++. (a:) Pre-defined MANO hand shape segments in different colors. (b:) MANO hand model provides a prior mapping between 21 joints (except end-effectors as fingertips) and overlapping hand segments.
在三个维度上均如此。在本文中，我们采用了三维数据增强技术，该技术能够提升手部姿态估计的准确性和鲁棒性（详见第6.3节）。
在V2V-PoseNet的训练过程中，我们对$(i,j,k)$和$V_{D}$的每个3D坐标$H_{j}$应用绕x、y、z轴的同步旋转，具体通过欧拉变换来实现：
$$ [\hat{i},\hat{j},\hat{k}]^{\mathrm{T}}=[\mathrm{R o t}_{\mathrm{x}}(\theta_{\mathrm{x}})]\times[\mathrm{R o t}_{\mathrm{y}}(\theta_{\mathrm{y}})]\times[\mathrm{R o t}_{\mathrm{z}}(\theta_{\mathrm{z}})][i,j,k]^{\mathrm{T}}, $$
其中$(\hat{i},\hat{j},\hat{k})$是变换后的体素坐标。$\mathrm{Rot}_{\mathrm{x}}(\theta_{\mathrm{x}})$、$\mathrm{Rot}_{\mathrm{y}}(\theta_{\mathrm{y}})$和$\mathrm{Rot}_{\mathrm{z}}(\theta_{\mathrm{z}})$分别是绕$3\times3$、$\mathrm{x}$和$\mathrm{y}$轴的$\mathrm{z}$旋转矩阵。$\theta_{\mathrm{x}}$、$\theta_{\mathrm{y}}$和$\theta_{\mathrm{z}}$的值分别在$[-40^{\circ},+40^{\circ}]$、$[-40^{\circ},+40^{\circ}]$和$[-120^{\circ},+120^{\circ}]$范围内随机选取。除了三维旋转外，按照[^6]的方法，我们还在$[+0.8,+1.2]$和$[-8,+8]$范围内分别进行缩放和平移操作。
## 5 网络训练
网络输入$V_D$是通过将原始深度图像像素投影到三维空间中生成的。随后，以手掌中心位置为中心、大小为250的立方体被用来提取手部区域的点。手部区域的3D点坐标被离散化在[^1]到[^88]的范围内。最终，为了获得$V_D$，每个体素都根据TSDF赋予一个值（见公式1）。类似地，$V_S$是通过对手部网格进行体素化处理得到的；不过最后一步中，手部区域的3D点坐标对应的体素值被设为1，其余情况则为0。按照[^6]的描述，$\mathcal{H}_j$被生成为3D高斯分布。$V_T$是通过将网格顶点归一化到[-1, +1]范围内得到的。我们进行这种归一化操作时，先将网格顶点减去手掌中心坐标，再除以立方体尺寸的一半。我们依据第6节所述的数据集，采用第4.4节提到的3D数据增强技术来训练V2V-PoseNet。对于所有数据集，我们设置学习率(LR)为$2.5e^{-4}$，批量大小为8，优化器选用RMSProp。我们分别在各个数据集上独立训练V2S-Net和V2V-ShapeNet，其中学习率分别设为$2.5e^{-4}$和$0.5e^{-3}$。批量大小均为8，两种形状网络的优化均使用RMSProp。DispVoxNet和GCN-MeshReg的训练采用Adam优化器[^62]，学习率为$3.0e^{-4}$。训练持续进行直至$\mathcal{L}_{Disp}$和$\mathcal{L}_{reg}$收敛，此时批量大小分别为12。我们首先利用真实的手部形状来训练用于配准的VFE和$G_{cnn}$；之后，我们再训练另一个$G_{cnn}$实例用于细化步骤。
| Methods | V2V-ShapeNet\n3D S Err. | V2S-Net\n3D V Err. (mm) |
| w/o $\mathcal{H}_j$ | 0.007 | 8.78 |
| w/o $V'_D$ | 0.016 | 3.54 |
| with $(\mathcal{H}_j \oplus V'_D)$ | 0.005 | 3.36 |
TABLE 2
Ablation study on inputs (i.e., $\mathcal{H}_j$ and $V_D'$) to V2S-Net and V2V-ShapeNet on SynHand5M [^16]. We observe that combining both inputs is useful for these two networks.
| Methods | 3D V Err. (mm) |
| DeepHPS [^16] | 11.8 |
| WHSP-Net [^10] | 5.12 |
| HandVoxNet [^17] (with DispVoxNet) | 2.92 |
| HandVoxNet [^17] (with GCN-MeshReg w/o ref.) | 1.79 |
| HandVoxNet [^17] (with GCN-MeshReg) | 1.72 |
TABLE 3
在SynHand5M数据集上对不同配准方法及现有先进方法进行比较[^16]。值得注意的是，为了公平比较，我们仅替换[^17]中的配准组件，而保持所有其他组件不变。我们基于图卷积的配准方法结合细化步骤后，性能比基于3D卷积的方法（即DispVoxNet）高出41.09%。
将配准步骤的输出作为$G_{cnn}$的输入。所有模型均在配备Nvidia Titan X GPU的台式工作站上训练至收敛。
## 6 实验
我们在四个具有挑战性的手部姿态数据集上对所提出的方法进行了定性和定量评估，这些数据集分别是HO-3D [^20]、HANDS19挑战赛（任务1）[^57]、BigHand2.2M（HANDS17挑战赛）[^63]以及SynHand5M [^16]。我们还在SynHand5M [^16]数据集上对所提出的形状估计网络的输入进行了消融研究。
### 6.1 数据集与评估指标
HO-3D [^20]和HANDS19挑战赛 [^57]是近期推出的真实基准数据集，它们为基于MANO模型 [^9]的3D手部姿态和形状提供了标注信息。HANDS19挑战赛的任务1是基于深度的手部姿态估计，该任务以BigHand2.2M [^63]为基础。数据集中包含来自第一人称视角和第三人称视角的独立手部图像。该数据集提供了175,951帧训练数据和124,999帧测试数据。在评估时，测试集的3D手部姿态估计结果会被提交到在线平台 $^{1}$，最终准确率会显示在排行榜上。HO-3D数据集提供了手部操作物体时的带标注RGB-D图像。其训练数据包含66,034帧，测试集则由11,524张图像组成。该数据集包含68个序列，由十名不同受试者操作十种不同物体时采集而成。3D手部姿态和形状的预测结果需按照指定格式上传至网页端 $^{2}$以获取准确率信息，用户也可在平台上查看与其他提交结果的对比情况。SynHand5M [^16]是规模最大的合成数据集，包含500万张带有完整标注的3D手部姿态和形状深度图像。其训练集（$\mathcal{T}_5$）和测试集规模分别为450万帧和50万帧。SynHand5M的手部模型是人工合成的 [^16]，这与MANO模型有所不同。BigHand2.2M [^63]则是
---
(c) GCN-MeshReg
(d) NRGA
Fig. 3. Qualitative comparison of different registration methods on SynHand5M [^16] dataset. For a fair comparison, we use the HandVoxNet [^17] framework and replace only the registration component by: (a) no registration; see the estimated hand surface (blue) and the ground truth (grey). (b) DispVoxNet; see artefacts and roughness in the estimated shapes. (c) GCN-MeshReg produces much smoother and more accurate final shapes. (d) NRGA produces smoother hand shapes, but the registered shapes are visually less accurate and slightly blown up.
(a) HandVoxNet [^17]
(b) Our Method
Fig. 4. Qualitative Comparison of 3D hand shape estimation on HANDS19 [^57] dataset: We present a one-to-one comparison of the intermediate and final predictions of the two compared configurations. The first column shows the 3D voxelized depth maps. The second column shows the estimated 3D voxelized hand shapes. The third column shows the overlay of the estimated and the ground-truth hand surfaces. The fourth column shows the overlay of the registered (using the convolutional networks) and the ground-truth hand surfaces. The fifth column shows the final shapes. The right-most column ("Our Method") shows the registered hand shapes using the NRGA++. The red circles highlight the regions where significant differences in the estimations can be observed. Our approach with graph-convolution-based registration (i.e., GCN-MeshReg) shows visually smoother and accurate final shapes.
一个规模达百万级的真实手部姿态数据集。它不提供手部形状标注信息。在姿态估计方面，它为从十名受试者处采集的956,000张训练用深度图像提供了精确的关节标注。BigHand2.2M测试集的规模为296,000帧。3D手部姿态估计的结果会被提交至HANDS17挑战赛 $^{3}$，以便与其他提交结果进行定量对比。
我们采用三种评估指标：(i) 所有测试帧上的平均3D关节位置误差（3D $\mathcal{J}$误差）；(ii) 所有测试帧上的平均顶点位置误差（3D $\mathcal{V}$误差）；以及(iii) 所有测试数据上的平均体素化形状误差（即每个体素的二元交叉熵）（3D $\mathcal{S}$误差）。
### 6.2 手部形状估计评估
在本小节中，我们展示了算法重建真实手部形状的能力。此外，我们通过对输入（即$\mathcal{H}_j$和$V'_D$）开展消融研究，验证了设计选择的有效性。为此，我们在SynHand5M、HANDS19挑战赛（任务1）和HO-3D数据集上对所提出的方法进行了评估。
合成手部形状重建。我们按照训练流程，在SynHand5M数据集上训练Hand-VoxNet框架。
---
| Method | 3D V Err. (mm)\nWith Reg. | Err. reduction after the Reg. (%) |
| HandVoxNet [^17] (w/o Reg.) $^{\dagger}$ | 4.71 | - |
| HandVoxNet [^17] (with DispVoxNet) | 4.14 | 12.1 |
| Ours (w/o Reg.) | 4.90 | - |
| Ours (with GCN-MeshReg w/o ref.) | 4.08 | 16.7 |
| Ours (with GCN-MeshReg) | 3.57 | 27.1 |
| Ours (with NRGA++) | 4.5 | 8.2 |
TABLE 4
HANDS19（任务1）[^57]数据集上的3D手部形状估计结果。左列展示了采用不同配准方法的效果；中间列显示了配准后最终形状的准确率；最后一列则显示了配准后形状误差的降低百分比。我们发现GCN-MeshReg方法能带来显著提升。与HandVoxNet [^17]相比，所提出的配准方法使形状估计精度提高了13.7%。
Fig. 5. Qualitative results on HO-3D [^20] dataset. From left to right, we show overlays of the estimated 3D pose, 3D voxelized hand shape, hand surface and the final (registered) shape on the sample 3D voxelized depth inputs, respectively.
我们在第5节中描述了该方法。我们对V2V-ShapeNet和V2S-Net的输入（即$\hat{V}_D$和$\mathcal{H}_j$）进行了消融研究，以证明我们设计选择的有效性。我们使用输入$\hat{V}_T$（即不包含$\hat{V}_S$）来回归预测$\hat{V}_D$和$\mathcal{H}_j$。类似的实验也分别通过向V2V-ShapeNet和V2S-Net提供$\mathcal{H}_j$（即不包含$\hat{V}_D$）以及$\mathcal{I}_S$（即包含$\mathcal{H}_j \oplus \hat{V}_D$）作为输入来重复进行。结果汇总在表2中，清楚地显示了将体素化深度图与关节的3D热图拼接起来的优势。
表3对比了我们的算法（采用不同的神经配准方法）与最先进的手部形状估计算法。DispVoxNet [^17]能将$\hat{V}_T$拟合到$\hat{V}_S$上，从而使表面重建精度提升了13.1%。尽管在准确性方面有这种定量提升，但最终生成的形状仍存在严重伪影，如图3(b)所示。我们提出的GCN-MeshReg不仅比DispVoxNet的性能高出35.6%，还能有效消除形状估计中的伪影（见表3和图3(c)）。为了公平比较上述两种配准方法，我们使用体素化深度图的占用网格表示形式[^6]、[^17]作为我们方法的输入。此外，所估算的精度$\mathcal{V}_S$（表2）也高于WHSP-Net的结果（表3），这清楚地表明了采用基于3D-CNN的网络进行直接网格顶点回归的有效性。
| Methods | Main Err. | I. | S. | A. | V. |
| BT [^64] | 23.62 | 18.78 | 21.84 | 16.73 | 19.48 |
| IPR [^65] | 19.63 | 8.42 | 14.21 | 7.5 | 14.16 |
| NTIS [^6] | 15.57 | 4.54 | 12.05 | 4.21 | 8.47 |
| AWR [^66] | 13.76 | 3.93 | 11.75 | 3.65 | 7.50 |
| A2J [^5] | 13.74 | 6.33 | 11.23 | 6.05 | 8.78 |
| V2V [^6] | 16.64 | 5.46 | 11.86 | 5.35 | 8.96 |
| HandVoxNet [^17] | 15.57 | 5.98 | 11.48 | 5.73 | 9.12 |
| Ours (Proj. D-TSDF) | 13.94 | 6.18 | 10.53 | 5.89 | 8.98 |
| Ours (Proj. TSDF) | 13.35 | 6.08 | 10.69 | 5.83 | 8.91 |
TABLE 5
Comparison with the state-of-the-art methods in the task of depth-based 3D pose estimation in HANDS 2019 challenge. Our projective-TSDF-based implementation outperforms several methods in the main error and ranks first in the challenge. These error metrics are provided in mm.
| Methods | Components | Runtime, sec. |
| HandVoxNet [^17] | V2V-PoseNet | 0.011 |
| V2V-ShapeNet | 0.0015 |
| V2S-Net | 0.0038 |
| DispVoxNet (GPU + CPU) $^{{*}}$ | 0.162 |
| NRGA (CPU) | 59 - 70 |
| HandVoxNet++ | V2V-PoseNet (Proj. TSDF) | 0.022 |
| V2V-ShapeNet (Proj. TSDF) | 0.0021 |
| V2S-Net (Proj. TSDF) | 0.0043 |
| NRGA++ | 0.45 |
| GCN-MeshReg | 0.0341 |
TABLE 6
运行时间：深度网络在GPU上的前向传播时间。“*”表示拉普拉斯平滑操作在CPU上运行。将深度图转换为TSDF表示形式所花费的时间比转换为占用网格的时间更长。
NRGA++和GCN-MeshReg的执行时间相比NRGA和DispVoxNet均有显著提升。
真实手部形状重建。HANDS19挑战赛数据集仅为其训练集提供了形状标注。因此，为了评估我们完整方法配置在该数据集上的性能，我们选取原始训练数据中约90%的样本（即158,355帧）作为新的训练集（$T_{H}$），剩余数据（即17,595帧）则作为测试集。我们使用第5节中提到的超参数，在$T_{H}$上训练V2S-Net和V2V-ShapeNet。V2S-Net和V2V-ShapeNet能够准确恢复手部形状表示。观察发现，体素化形状的估计精度要高于手部表面，而后续的对齐操作进一步细化了手部表面。表4总结了所提出的HandVoxNet++与HandVoxNet [^17]的定量对比结果。我们在HANDS19数据集上训练[^17]中提出的算法。我们发现，采用所提出的GCN-MeshReg后误差降低了27.1%，而基于DispVoxNet的配准方法[^17]则实现了12%的误差降低。图4展示了所估计形状表示的详细定性对比。值得注意的是，DispVoxNet生成的最终形状中存在明显的伪影，而我们提出的GCN-MeshReg不存在此类局限，由于采用了基于图卷积的配准方式，它能生成视觉上更精确、更平滑的手部形状。
HO-3D是一个全新的、具有挑战性的手部姿态与形状数据集，其中的手部会与物体发生交互。我们按照第5节中描述的超参数，在该数据集上训练HandVoxNet++模型。HO-3D测试集上的平均3D网格误差为2.70厘米。由于深度图像中存在严重的遮挡现象且会出现随机物体，手部形状估计任务变得更加困难。尽管如此
---
Fig. 6. Qualitative results of depth-based 3D pose estimation on HANDS19 [^57] dataset. The top row shows the overlay of the estimated 3D pose on 3D voxelized depth input, and the bottom row shows the corresponding 2D overlay on to the depth image. The 3D view helps to better visualize the error in the estimated third dimension. Our 3D pose estimation results are more accurate compared to the occupancy-grid-based method [^17], see the red circles for their differences.
我们还是成功从一些具有挑战性的输入体素化深度图中恢复了合理的手部形状（如图5中的定性展示所示）。
运行时间。表6总结了HandVoxNet $^{[17]}$ 各组件以及我们提出的HandVoxNet++的运行时间。所提出的GCN-MeshReg比DispVoxNet快78.9%。此外，在我们的硬件上，NRGA++的运行速度比NRGA快$\sim150$倍。借助GCN-MeshReg，各组件的运行时间足够快，能够支持并行操作时开发实时交互式应用。虽然深度图的TSDF表示有助于提高3D姿态估计的精度，但生成这种表示所需的时间比生成占用网格表示的时间更长。
### 6.3 手部姿态估计评估
从HandVoxNet++的流程中可以看出，形状精度取决于估计姿态的精度。因此，手部姿态估计必须既稳健又准确。在本研究中，我们采用了基于TSDF的3D体素化表示，它能更好地编码2D深度图的3D信息。我们利用这种表示在HANDS19挑战赛数据集上训练V2V-PoseNet [^6]，用于从单张深度图像中进行3D姿态估计（任务1）。该数据集包含来自第一人称和第三人称视角的手部图像，且不存在物体交互情况。我们采用以下误差指标进行严谨评估：(i) 主要误差：这是一种外推误差，使用的测试数据包含训练集中不存在的手部形状、视角和姿态；(ii) 插值误差：测试数据包含训练集中已有的手部形状、姿态和视角；(iii) 特殊误差：测试数据包含训练数据中未出现的手部形状；
Fig. 7. Failure case. Our method is unable to produce plausible shapes in cases of severe occlusion of hand parts. We show our pose and shape estimations on a challenging input where most hand parts are occluded by an object.
(iv) 姿态误差：测试数据包含训练数据中未出现的手部姿态；(v) 视角误差：测试数据包含训练集中未包含的视角。我们的结果以及与最先进方法的对比情况见表5。为了公平比较，我们也在HANDS19挑战赛数据集上训练[^6]和[^17]的网络。我们使用投影式TSDF表示的方法，其性能分别比[^6]和[^17]高出19.8%和14.2%。我们发现，在体素化深度图与3D热图之间存在一一映射的情况下，投影式TSDF表示比投影式方向TSDF表示收敛更快，且能产生更精确的结果。图6展示了我们的方法在一些具有挑战性的手部姿态下与HandVoxNet [^17]的定性对比。在提交结果到网页门户时，我们的方法在现有最先进方法中排名首位。与采用3个 epoch 集成预测的Anchor-to-Joints (A2J)回归方法[^5]相比，我们的方法在精度上提升了2.8%。此外，与采用五个 epoch 集成的自适应加权回归(AWR) [^66]、包含时间平滑等复杂后处理步骤的NTIS [^6]相比，我们的方法在精度上分别高出3.0%和14.2%。
我们会在HO-3D数据集上训练性能最优的姿态估计网络（该网络采用投影表示法）。遵循[^20]中的说明以及网络挑战赛的要求，我们以厘米为单位报告姿态误差。HO-3D测试集上的平均3D关节位置误差为2.46厘米。据我们所知，目前尚无已发表的研究利用深度图像在该数据集上报告精度结果。姿态估计的定性结果如图5（第一列）所示，展示的是手部与不同物体相互作用的一些具有挑战性的测试样本。
值得注意的是，我们的重点是开发一种用于同时估计手部姿态和形状的有效方法。不过为了完整性起见，我们也在HANDS17挑战赛$^{4}$数据集上训练我们的方法，该数据集是通过从BigHand2.2M [^63]和FHAD [^61]数据集中采样图像得到的。HANDS17数据集测试集上的关节位置误差为8.92毫米，与V2V [^6]（即9.95毫米）及HandVoxNet [^17]（即9.27毫米）相比，精度分别提升了10.3%和3.7%。
## 7 讨论
我们的流程依赖于真实手部形状的基准数据，因此不采用弱监督方式，
---
也不使用真实数据与合成数据混合进行训练。出于这个原因，我们没有对NYU [^47]和ICVL [^59]这类较旧的数据集进行实验，因为它们没有提供手部形状的标注。相反，我们选用了最先进的数据集（即HANDS19、HO-3D和SynHand5M），这些数据集提供了3D手部姿态和形状的标注。实验表明，HandVoxNet++在姿态和形状精度上显著优于我们之前的方法HandVoxNet [^17]，且运行速度更快。我们恢复出的手部形状更平滑，不易出现伪影。原因主要有两点：首先，这得益于改进的神经对齐组件GCN-MeshReg，它结合了图卷积网络和迭代优化循环，能够很好地契合手部网格的结构；其次，我们发现与占用网格表示法相比，投影TSDF表示法能更有效地与手部关节的3D热图建立一一对应关系。我们认为，在占用网格表示法中，3D深度点云在二进制量化过程中会丢失大量信息，而投影TSDF表示法能更好地保留这些信息，从而提高手部姿态估计的精度。这一结论在HANDS19（任务1）挑战赛的结果中得到了证实：在我们2020年8月提交成果时，HandVoxNet++排名第一。所提出的配准组件的运行时性能相比[^17]有了显著提升。GCN-MeshReg的性能提升主要源于我们无需再执行DispVoxNet中耗时的手部形状表面体素化步骤。我们的生成式配准方法NRGA及其扩展版本NRGA++被作为基于学习的配准方法的替代方案。这些生成式配准方法消除了配准任务对手部形状标注的依赖。尽管近期的一些数据集提供了此类标注，但它们并未涵盖所有可能的手部形状变化。在本文中，NRGA++的运行时性能相比NRGA有了显著提升，这主要归功于其采用了预定义的MANO手部模型分割来进行对齐。
所有这些改进都体现在HANDS19挑战赛、HO-3D和SynHand5M数据集上的结果中。对于HO-3D数据集而言，尽管HandVoxNet++并未专门为手部与物体交互这一复杂场景设计，但它仍能在该场景下给出合理的姿态和形状估计结果。我们相信，我们的方法能推动基于深度传感器的手部形状估计技术向现实环境中的AR和VR系统迈进。在完全基于神经网络的配置下，HandVoxNet++每秒可回归超过30种手部形状，若考虑时间维度的形状上下文信息，其性能还有进一步提升的潜力。
失败案例。当手部被严重遮挡，尤其是手部与物体交互时，我们的方法无法估算出合理的手部形状和姿态，详见图7。在此类场景下，由于物体形状的多样性，估算难度也会相应增加。
## 8 结论与未来工作
我们提出了全新的HandVoxNet++方法，可利用单张深度图重建3D手部形状和姿态；该方法借助3D卷积和图卷积技术，在手部姿态与形状估计之间建立了有效的关联。实验评估表明，相较于二值化的体素化深度图表示，基于TSDF的体素化深度图表示能与关节位置的3D热图建立更高效的一一映射关系。与以往方法相比，HandVoxNet++能更精准地还原真实图像中的手部形状；我们在体素化网格上采用的3D数据增强策略，进一步提升了3D手部姿态估计的准确度。我们在深度图像3D手部姿态和形状估计任务上取得了业界领先的结果，这一点在近期具有挑战性的基准测试中得到了验证。
所有结果都表明，体素化深度图、体素化形状与关节3D热图之间的一一映射，对于精准恢复手部形状和姿态至关重要。未来的工作中，可将体素化深度图与彩色图像结合，利用额外的线索进一步丰富体素化输入表示。另一个颇具前景的方向是拓展我们的研究，以实现交互手部的形状重建。
## 致谢
本研究得到了德国联邦教育和研究部的资助，相关项目包括VIDETE（资助编号01IW18002）、DECODE（资助编号01IW21001），以及ERC Consolidator Grant 770784。
## 参考文献
[^1]: J. S. Supančič, G. Rogez, Y. Yang, J. Shotton, and D. Ramanan, "Depth-based hand pose estimation: methods, data, and challenges," International Journal of Computer Vision (IJCV), vol. 126, no. 11, pp. 1180–1198, 2018. 1, 2
[^2]: S. Yuan, G. Garcia-Hernando, B. Stenger, G. Moon, J. Y. Chang, K. M. Lee, P. Molchanov, J. Kautz, S. Honari, L. Ge et al., "Depth-based 3d hand pose estimation: From current achievements to future goals," in Computer Vision and Pattern Recognition (CVPR), 2018. 1,2
[^3]: F. Mueller, F. Bernard, O. Sotnychenko, D. Mehta, S. Sridhar, D. Casas, and C. Theobalt, "Ganerated hands for real-time 3d hand tracking from monocular rgb," in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2018, pp. 49–59. 1,2
[^4]: J. Malik, A. Elhayek, S. Guha, S. Ahmed, A. Gillani, and D. Stricker, "Deepairsig: End-to-end deep learning based in-air signature verification," IEEE Access, vol. 8, pp. 195832–195843, 2020. 1
[^5]: F. Xiong, B. Zhang, Y. Xiao, Z. Cao, T. Yu, J. T. Zhou, and J. Yuan, "A2j: Anchor-to-joint regression network for 3d articulated pose estimation from a single depth image," in International Conference on Computer Vision (ICCV), 2019. 1, 3, 9, 10
[^6]: G. Moon, J. Yong Chang, and K. Mu Lee, "V2v-posenet: Voxel-to-voxel prediction network for accurate 3d hand and human pose estimation from a single depth map," in Computer Vision and Pattern Recognition (CVPR), 2018. 1, 2, 3, 4, 7, 9, 10
[^7]: M. Rad, M. Oberweger, and V. Lepetit, "Feature mapping for learning fast and accurate 3d pose inference from synthetic images," in Computer Vision and Pattern Recognition (CVPR), 2018. 1, 3
[^8]: J. Taylor, L. Bordeaux, T. Cashman, B. Corish, C. Keskin, T. Sharp, E. Soto, D. Sweeney, J. Valentin, B. Luff et al., "Efficient and precise interactive hand tracking through joint, continuous optimization of pose and correspondences," ACM Transactions on Graphics (TOG), vol. 35, no. 4, p. 143, 2016. 1
[^9]: J. Romero, D. Tzionas, and M. J. Black, “Embodied hands: modeling and capturing hands and bodies together,” ACM Transactions on Graphics (TOG), vol. 36, no. 6, p. 245, 2017. 1, 2, 7
## [^10]: J. Malik, A. Elhayek, and D. Stricker, "Whsp-net: A weakly-supervised approach for 3d hand shape and pose recovery from a single depth image," Sensors, vol. 19, no. 17, p. 3784, 2019. 1, 2, 5, 7
---
[^11]: N. Qian, J. Wang, F. Mueller, F. Bernard, V. Golyanik, and C. Theobalt, "HTML: A Parametric Hand Texture Model for 3D Hand Reconstruction and Personalization," in European Conference on Computer Vision (ECCV), 2020. 1, 2
[^12]: X. Zhang, Q. Li, H. Mo, W. Zhang, and W. Zheng, "End-to-end hand mesh recovery from a monocular rgb image," in International Conference on Computer Vision (ICCV), 2019. 1, 2
[^13]: F. Mueller, M. Davis, F. Bernard, O. Sotnychenko, M. Verschoor, M. A. Otaduy, D. Casas, and C. Theobalt, "Real-time Pose and Shape Reconstruction of Two Interacting Hands With a Single Depth Camera," ACM Transactions on Graphics (TOG), vol. 38, no. 4, 2019. 1
[^14]: L. Ge, Z. Ren, Y. Li, Z. Xue, Y. Wang, J. Cai, and J. Yuan, "3d hand shape and pose estimation from a single rgb image," in Computer Vision and Pattern Recognition (CVPR), 2019. 1,2
[^15]: J. Malik, A. Elhayek, F. Nunnari, and D. Stricker, "Simple and effective deep hand shape and pose regression from a single depth image," Computers & Graphics, vol. 85, pp. 85–91, 2019. 1
[^16]: J. Malik, A. Elhayek, F. Nunnari, K. Varanasi, K. Tamaddon, A. Heloir, and D. Stricker, "Deephps: End-to-end estimation of 3d hand pose and shape by learning from synthetic depth," in International Conference on 3D Vision (3DV), 2018. 1, 2, 7, 8
[^17]: J. Malik, I. Abdelaziz, A. Elhayek, S. Shimada, S. A. Ali, V. Golyanik, C. Theobalt, and D. Stricker, "Handvoxnet: Deep voxel-based network for 3d hand shape and pose estimation from a single depth map," in Computer Vision and Pattern Recognition (CVPR), 2020. 2, 5, 7, 8, 9, 10, 11
[^18]: S. Shimada, V. Golyanik, E. Tretschk, D. Stricker, and C. Theobalt, "Dispvoxnets: Non-rigid point set alignment with supervised learning proxies," in International Conference on 3D Vision (3DV), 2019. 2, 5, 6
[^19]: S. A. Ali, V. Golyanik, and D. Stricker, "Nrga: Gravitational approach for non-rigid point set registration," in International Conference on 3D Vision (3DV), 2018. 2, 6
[^20]: S. Hampali, M. Rad, M. Oberweger, and V. Lepetit, "Honnotate: A method for 3d annotation of hand and object poses," in Computer Vision and Pattern Recognition (CVPR), 2020. 2, 6, 7, 9, 10
[^21]: Y. Cai, L. Ge, J. Cai, N. Magnenat-Thalmann, and J. Yuan, "3d hand pose estimation using synthetic data and weakly labeled rgb images," IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI), 2020. 2
[^22]: G. Park, A. Argyros, J. Lee, and W. Woo, "3d hand tracking in the presence of excessive motion blur," IEEE Transactions on Visualization and Computer Graphics (TVCG), vol. 26, no. 5, pp. 1891–1901, 2020. 2
[^23]: J. Nehvi, V. Golyanik, F. Mueller, H.-P. Seidel, M. Elgharib, and C. Theobalt, "Differentiable event stream simulator for non-rigid 3d tracking," in CVPR Workshop on Event-based Vision, 2021. 2
[^24]: V. Rudnev, V. Golyanik, J. Wang, H.-P. Seidel, F. Mueller, M. Elgharib, and C. Theobalt, "Eventhands: Real-time neural 3d hand pose estimation from an event stream," in International Conference on Computer Vision (ICCV), 2021. 2
[^25]: Y. Hasson, B. Tekin, F. Bogo, I. Laptev, M. Pollefeys, and C. Schmid, "Leveraging photometric consistency over time for sparsely supervised hand-object reconstruction," in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2020. 2
[^26]: J. Yang, H. J. Chang, S. Lee, and N. Kwak, "Seqhand: RGB-sequence-based 3d hand pose and shape estimation," in European Conference on Computer Vision, 2020. 2
[^27]: S. Baek, K. I. Kim, and T.-K. Kim, "Weakly-supervised domain adaptation via gan and mesh model for estimating 3d hand poses interacting objects," in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2
[^28]: Y. Zhou, M. Habermann, W. Xu, I. Habibie, C. Theobalt, and F. Xu, "Monocular real-time hand shape and motion capture using multi-modal data," in IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), June 2020. 2
[^29]: T. N. Kipf and M. Welling, “Semi-supervised classification with graph convolutional networks,” International Conference on Learning Representations (ICLR), 2017. 2, 5, 6
[^30]: N. Kolotouros, G. Pavlakos, and K. Daniilidis, “Convolutional mesh regression for single-image human shape reconstruction,” in CVPR, 2019. 2, 5
[^31]: E. Tretschk, A. Tewari, M. Zollhöfer, V. Golyanik, and C. Theobalt, "DEMEA: Deep Mesh Autoencoders for Non-Rigidly Deforming Objects," European Conference on Computer Vision (ECCV), 2020. 2
[^32]: B. Doosti, S. Naha, M. Mirbagheri, and D. Crandall, “Hope-net: A graph-based model for hand-object pose estimation,” in The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 2020. 3
[^33]: S. Shimada, V. Golyanik, C. Theobalt, and D. Stricker, “Ismo-gan: Adversarial learning for monocular non-rigid 3d reconstruction,” in Computer Vision and Pattern Recognition Workshops (CVPRW), 2019. 3
[^34]: V. Golyanik, S. Shimada, K. Varanasi, and D. Stricker, “Hdm-net: Monocular non-rigid 3d reconstruction with learned deformation model,” in International Conference on Virtual Reality and Augmented Reality (EuroVR), 2018. 3
[^35]: J. Wu, C. Zhang, T. Xue, B. Freeman, and J. Tenenbaum, "Learning a probabilistic latent space of object shapes via 3d generative-adversarial modeling," in Neural Information Processing Systems (NeurIPS), 2016. 3
[^36]: Y. Chen, Z. Tu, L. Ge, D. Zhang, R. Chen, and J. Yuan, “So-handnet: Self-organizing network for 3d hand pose estimation with semi-supervised learning,” in International Conference on Computer Vision (ICCV), 2019. 3
[^37]: Y. Cai, L. Ge, J. Liu, J. Cai, T.-J. Cham, J. Yuan, and N. M. Thalmann, "Exploiting spatial-temporal relationships for 3d pose estimation via graph convolutional networks," in International Conference on Computer Vision (ICCV), 2019. 3
[^38]: G. Poier, M. Opitz, D. Schinagl, and H. Bischof, "Murauer: Mapping unlabeled real data for label austerity," in Winter Conference on Applications of Computer Vision (WACV), 2019. 3
[^39]: H. Guo, G. Wang, X. Chen, C. Zhang, F. Qiao, and H. Yang, "Region ensemble network: Improving convolutional network for hand pose estimation," in International Conference on Image Processing (ICIP), 2017. 3
[^40]: L. Ge, H. Liang, J. Yuan, and D. Thalmann, "3d convolutional neural networks for efficient and robust hand pose estimation from single depth images," in Computer Vision and Pattern Recognition (CVPR), 2017. 3
[^41]: J. Malik, A. Elhayek, S. Ahmed, F. Shafait, M. Malik, and D. Stricker, "3dairsig: A framework for enabling in-air signatures using a multi-modal depth sensor," Sensors, vol. 18, no. 11, p. 3872, 2018. 3
[^42]: J. Malik, A. Elhayek, and D. Stricker, "Structure-aware 3d hand pose regression from a single depth image," in International Conference on Virtual Reality and Augmented Reality (EuroVR), 2018. 3
[^43]: C. Wan, T. Probst, L. Van Gool, and A. Yao, "Dense 3d regression for hand pose estimation," in Computer Vision and Pattern Recognition (CVPR), 2018. 3
[^44]: L. Ge, Z. Ren, and J. Yuan, "Point-to-point regression pointnet for 3d hand pose estimation," in European Conference on Computer Vision (ECCV), 2018. 3
[^45]: M. Oberweger and V. Lepetit, "Deepprior++: Improving fast and accurate 3d hand pose estimation," in International Conference on Computer Vision Workshops (ICCVW), 2017. 3, 6
[^46]: J. Malik, A. Elhayek, and D. Stricker, "Simultaneous hand pose and skeleton bone-lengths estimation from a single depth image," in International Conference on 3D Vision (3DV), 2017. 3
[^47]: J. Tompson, M. Stein, Y. Lecun, and K. Perlin, "Real-time continuous pose recovery of human hands using convolutional networks," ACM Transactions on Graphics (TOG), vol. 33, no. 5, p. 169, 2014. 3, 6, 11
[^48]: L. Ge, Z. Ren, Y. Li, Z. Xue, Y. Wang, J. Cai, and J. Yuan, "3d hand shape and pose estimation from a single rgb image," in CVPR, 2019. 3
[^49]: R. A. Newcombe, S. Izadi, O. Hilliges, D. Molyneaux, D. Kim, A. J. Davison, P. Kohi, J. Shotton, S. Hodges, and A. Fitzgibbon, "Kinectfusion: Real-time dense surface mapping and tracking," in IEEE International Symposium on Mixed and Augmented Reality (ISMAR), 2011. 4
[^50]: L. Ge, H. Liang, J. Yuan, and D. Thalmann, "Real-time 3d hand pose estimation with 3d convolutional neural networks," IEEE transactions on pattern analysis and machine intelligence, vol. 41, no. 4, pp. 956–970, 2018. 4
[^51]: S. Song and J. Xiao, “Deep sliding shapes for amodal 3d object detection in rgb-d images,” in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2016. 4
## [^52]: J. Vollmer, R. Mencl, and H. Mueller, "Improved laplacian smoothing of noisy surface meshes," in Computer Graphics Forum, 1999, pp. 131–138. 5
---
[^53]: A. Ranjan, T. Bolkart, S. Sanyal, and M. J. Black, “Generating 3d faces using convolutional mesh autoencoders,” in European Conference on Computer Vision (ECCV), 2018. 5
[^54]: S. Cheng, G. Tzimiroopoulos, J. Shen, and M. Pantic, "Faster, better and more detailed: 3d face reconstruction with graph convolutional networks," in Asian Conference on Computer Vision (ACCV), 2020. 5
[^55]: H. Chui and A. Rangarajan, "A new point matching algorithm for non-rigid registration," Comput. Vis. Image Underst., vol. 89, no. 2-3, p. 114–141, 2003. 6
[^56]: B. Jian and B. C. Vemuri, "A robust algorithm for point set registration using mixture of gaussians," in International Conference on Computer Vision (ICCV), 2005. 6
[^57]: A. Armagan, G. Garcia-Hernando, S. Baek, S. Hampali, M. Rad, Z. Zhang, S. Xie, M. Chen, B. Zhang, F. Xiong et al., “Measuring generalisation to unseen viewpoints, articulations, shapes and objects for 3d hand pose estimation under hand-object interaction,” in European Conference on Computer Vision (ECCV), 2020. 6, 7, 8, 9, 10
[^58]: X. Sun, Y. Wei, S. Liang, X. Tang, and J. Sun, "Cascaded hand pose regression," in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2015, pp. 824–832. 6
[^59]: D. Tang, H. Jin Chang, A. Tejani, and T.-K. Kim, "Latent regression forest: Structured estimation of 3d articulated hand posture," in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2014, pp. 3786–3793. 6, 11
[^60]: T. Sharp, C. Keskin, D. Robertson, J. Taylor, J. Shotton, D. Kim, C. Rhemann, I. Leichter, A. Vinnikov, Y. Wei et al., “Accurate, robust, and flexible real-time hand tracking,” in Conference on Human Factors in Computing Systems (CHI), 2015. 6
[^61]: G. Garcia-Hernando, S. Yuan, S. Baek, and T.-K. Kim, "First-person hand action benchmark with rgb-d videos and 3d hand pose annotations," in Computer Vision and Pattern Recognition (CVPR), 2018. 6, 10
[^62]: D. P. Kingma and J. Ba, “Adam: A method for stochastic optimization,” in International Conference on Learning Representations (ICLR), 2015. 7
[^63]: S. Yuan, Q. Ye, B. Stenger, S. Jain, and T.-K. Kim, "Bighand2.2m benchmark: Hand pose dataset and state of the art analysis," in Computer Vision and Pattern Recognition (CVPR), 2017. 7, 10
[^64]: L. Yang, S. Li, D. Lee, and A. Yao, "Aligning latent spaces for 3d hand pose estimation," in International Conference on Computer Vision (ICCV), 2019. 9
[^65]: X. Sun, B. Xiao, F. Wei, S. Liang, and Y. Wei, "Integral human pose regression," in European Conference on Computer Vision (ECCV), 2018. 9
[^66]: W. Huang, P. Ren, J. Wang, Q. Qi, and H. Sun, "Awr: Adaptive weighting regression for 3d hand pose estimation." in Conference on Artificial Intelligence (AAAI), 2020. 9, 10
Jameel Malik是德国人工智能研究中心（DFKI GmbH）Augmented Vision小组的博士后研究员，任职于凯泽斯劳滕。他于2020年在凯泽斯劳滕工业大学获得计算机科学博士学位，研究方向为基于深度的3D手部姿态和形状估计；他此前在巴基斯坦国立科学技术大学电气工程与计算机科学学院获得了电气工程硕士学位。
他目前的研究兴趣集中在计算机视觉、深度学习及其应用领域。
Soshi Shimada是德国萨尔布吕肯马克斯·普朗克计算机研究所视觉计算与人工智能系的博士候选人。他此前在凯泽斯劳滕工业大学获得了计算机科学硕士学位，在日本早稻田大学获得了计算机科学与工程学士学位。他的研究兴趣涵盖计算机视觉、计算机图形学和机器学习，重点方向为3D姿态估计。他目前从事……
基于单目相机的3D人体姿态估计相关工作。
艾哈迈德·埃尔哈耶克于2010年在德国萨尔大学获得硕士学位。2015年，他同时从马克斯·普朗克研究所和萨尔大学取得博士学位。此后，他在德国人工智能研究中心（DFKI）的增强视觉小组担任博士后研究员。2018年，他加入王子穆格林大学的计算机与网络科学系，担任助理教授。
斯凯·阿齐兹·阿里是德国人工智能研究中心凯撒斯劳滕分中心增强视觉小组的研究员。他正在凯撒斯劳滕工业大学攻读博士学位，研究方向包括刚性与非刚性运动场估计、基于物理的优化方法以及三维重建。他分别于2011年和2017年从西孟加拉技术大学获得工学学士学位，从凯撒斯劳滕工业大学获得计算机科学硕士学位。
克里斯蒂安·特博尔特是德国萨尔布吕肯马克斯·普朗克信息研究所的计算机科学教授，同时也是视觉计算与人工智能系的主任。他还是萨尔大学的教授。他的研究横跨计算机图形学、计算机视觉和机器学习领域。例如，他致力于虚拟人、三维及四维场景重建、神经渲染与神经场景表示、无标记动作与表演捕捉、面向图形与视觉的机器学习，以及用于三维采集的新传感器研发。克里斯蒂安曾荣获多项奖项，包括马克斯·普朗克学会颁发的奥托·哈恩奖章（2007年）、欧洲图形学年会青年研究者奖（2009年）、德国模式识别奖（2012年）、欧洲图形学年会杰出技术贡献奖（2020年）、ERC启动基金（2013年）以及ERC巩固基金（2017年）。他是Captury公司的联合创始人（）。
弗拉迪斯拉夫·戈利亚尼克领导着位于德国萨尔布吕肯的马克斯·普朗克信息研究所视觉计算与人工智能系的“四维与量子视觉”研究小组（4dqv.mpinf.mpg.de/）。其团队的主要研究方向包括可变形场景的三维重建与分析、点集与图上的匹配问题、神经渲染、量子计算机视觉以及基于事件的视觉技术。他于2019年在凯撒斯劳滕大学在迪迪埃·斯特里克的指导下获得计算机科学博士学位。在加入马克斯·普朗克信息研究所担任博士后研究员之前，弗拉迪斯拉夫曾作为访问学者在英伟达公司（美国圣何塞）以及机器人学与工业信息学研究所（西班牙巴塞罗那）工作。他曾荣获WACV'16最佳论文奖以及德国模式识别协会（DAGM）2020年度优秀博士论文奖。
迪迪埃·斯特里克是凯撒斯劳滕工业大学的计算机科学教授，同时也是位于凯撒斯劳滕的德国人工智能研究中心（DFKI GmbH）的科学主任，负责领导“增强视觉”研究部门。他于2006年获得德国计算机学会创新奖。他曾在多个会议上因最佳论文或演示荣获多项奖项。他担任多家欧洲或国家级研究机构的审稿人。
他是虚拟现实/增强现实及计算机视觉领域多家期刊和会议的审稿人。他的研究兴趣包括认知接口、用户监测与穿戴式传感器网络、计算机视觉、视频/图像分析以及人机交互。
