# PatientHandNet：基于稀疏多视角深度图像的三维张开手掌手部重建
戴欣欣 $^{ID}$，IEEE研究生会员；赵然 $^{ID}$；胡鹏鹏 $^{ID}$；阿德里安·蒙特亚努 $^{ID}$
摘要—准确重建患者的三维手部形状对于固定装置定制、假肢制作以及手部疾病诊断具有重要意义。传统的三维手部扫描需要使用三维扫描设备围绕手部进行多次扫描。这些方法要求患者在扫描过程中保持张开手掌的姿势，而对于手部功能受损的患者而言，这不仅会带来疼痛，甚至根本无法做到。一旦收集到多视角的部分点云数据，还需要经过复杂的后期处理才能生成高精度的手部模型。为解决这些难题，我们提出了一种名为PatientHandNet的新型深度学习方法，仅需利用单个深度相机获取的多张深度图像，就能重建出处于标准张开手掌姿态下的高精度手部模型。深度图像中的手部姿态可能各不相同，且允许手部有轻微移动，这尤其便于手部状况不佳的患者完成三维扫描过程。所提出的方法具有很强的可操作性，因为它对输入姿态不敏感，能够适应输入深度图像中的姿态变化。我们还构建了两个新型数据集：用于训练模型的大规模合成数据集，以及由经验丰富的人体测量师标注了真实手部生物特征的真实世界数据集。在未见过的合成数据和真实世界数据上进行的大量实验结果表明，所提方法能够实现稳健且易用的手部形状重建，在生物特征精度方面也优于现有最先进的方法。
索引词—三维手部重建、三维手部形状、手部生物特征、多尺度特征、多视角深度处理、点云处理。
## 一、引言
三维手部形状的重建在以手部为中心的医疗应用中发挥着重要作用，例如手部固定装置设计 [^1]、[^2]、[^3]，假肢制作 [^4]、[^5]，以及骨关节炎评估 [^6]、[^7]，这些应用通常都需要患者张开双手才能进行精确的人体测量 [^8]。然而，对于手部功能受损的患者 [^9]、[^10] 来说，由于腱鞘炎、骨折或其他类型的疾病会导致手部呈现复杂的姿态，他们很难保持手掌张开的状态。研究人员还发现，不同的手部姿势会导致手部几何形状发生显著变化 [^11]。因此，人们迫切需要一种能在扫描时无需患者保持张开手掌姿态，就能重建其张开手掌状态下的手部形状的方法。
研究人员尝试通过不同信号来重建手部形状，比如手部人体测量数据、RGB图像、深度图像和点云。基于测量的方法需要将数十个不同的维度参数输入手部尺寸系统以估算手部形状 [^1]。不过，获取这些测量值高度依赖人体测量师的专业技能，不仅成本高昂、耗时久，还容易出错。基于RGB图像的方法需要借助二维到三维的映射关系，才能从单张RGB图像中预测三维手部形状 [^12]、[^13]、[^14]。由于缺乏深度信息，这类方法可能会导致透视失真和尺度模糊问题。
随着商用深度相机的发展，深度图像/点云可以轻松获取，这促使研究人员开发出低成本的手部扫描仪。这些方法主要分为两类：非参数化方法和参数化方法。非参数化方法对应传统的三维手部扫描技术，包括单摄像头扫描和多摄像头扫描。单摄像头扫描[^15]、[^16]需要移动摄像头围绕手部采集数据，这一过程耗时较长，且由于摄像头移动过快可能导致扫描失败。多摄像头扫描[^17]、[^18]、[^19]允许多个摄像头同时从不同角度捕捉手部图像，但它依赖于外部校准的质量，且需要专业操作，因此难以便携使用。更重要的是，非参数化方法通常要求扫描过程中手部保持静止的掌心张开姿势。然而，维持掌心张开的姿势可能会带来疼痛，或者对于某些患者而言根本无法实现。参数化方法基于参数化手部模型开发，这类模型通常通过控制形状和姿态的参数来分离手部区域[^20]。此类方法的主要目的是将参数化手部模型（如SMPL-X）拟合到输入数据中，以获取最优的模型参数。随后通过将姿态参数设为零即可生成掌心张开的手部模型。不过，
---
这类方法并不够稳健，因为参数的微小变化就可能导致形状或姿态发生显著改变。为解决这一问题，一些研究人员提出直接回归模型顶点而非参数化参数[^21]、[^22]。然而，这些研究大多更关注手部姿态估计，而忽视了形状的准确性。
为解决上述问题，我们旨在设计一种算法，能够从稀疏的多视角深度图像中重建出处于标准掌心张开姿势的手部形状。具体而言，我们提出了一种名为PatientHandNet的新方法，可利用四张深度图像重建高保真的掌心张开手部形状。需要注意的是，我们并未限制四个视角下的手部姿态必须一致。患者无需采取掌心张开的姿势，也无需在四次扫描中保持固定的姿态。如图1(a)所示，我们使用一台商用深度相机从掌侧、背侧、尺侧和桡侧四个角度采集手部的深度图像。这些深度图像覆盖了整个手部几何结构，且重叠部分极少，从而隐含地体现了相邻视角间的空间依赖性。
本文的主要贡献可总结如下。
1) 据我们所知，我们提出了首个基于深度学习的方法——PatientHandNet，它可利用单台商用深度相机拍摄的四张深度图像重建高保真的掌心张开三维手部形状。该方法允许不同摄像头拍摄下的手部存在多种姿态变化。
2) 我们构建了一个大规模的多视角合成数据集，其中包含多种多样的手部形状和姿态，以及对应的标准掌心张开姿势下的真实手部形状。
3) 我们收集了一套全新的真实世界数据集，通过搭载于iPad上的Structure Sensor Mark I设备对18名受试者（13名男性和5名女性）进行扫描，并聘请专业人体测量师来获取手部的真实生物测量数据。
4) 在合成数据和真实世界数据上进行的大量实验表明，我们的方法在定性和定量方面均优于现有最先进的方法。
本文其余部分的结构如下：第二节简要回顾了相关研究工作，包括非参数化与神经参数化手部形状重建；第三节介绍了所提出的方法及数据集；第四节阐述了实验设置，以及不同方法在合成数据与真实数据上的对比结果。在第四节的D部分，我们通过详细的消融实验探讨了该方法中各个模块的有效性；文章于第五节收尾。
### 二、相关工作
### A. 非参数化手部形状重建
这类方法利用固定在不同位置的多个摄像头来采集数据。多摄像头扫描的主要优势在于能够实现快速数据采集，且能通过从不同视角同时采集手部表面信息来降低无意识动作带来的负面影响。不过，它高度依赖外部校准的质量，且需要专业操作；此外，由于设备昂贵、配置与校准流程复杂，其移动性较差。相比之下，单摄像头扫描是比多摄像头扫描更具成本效益的替代方案，因为它仅需一台扫描仪。这种手持式扫描仪可围绕手部移动以获取完整的形状信息[^15]，[^16]。不过，要实现成功的三维重建，采集过程中各视角需包含足够的冗余信息，这会导致计算耗时较长，且由于摄像头移动速度快，还可能出现重建失败的情况。
如前所述，根据所用传感器的数量，非参数化方法可分为多摄像头扫描和单摄像头扫描两类。多摄像头扫描[^17]，[^18]，[^19]，[^23]能够捕捉手部表面信息。
除了这些局限性外，非参数化方法还要求扫描过程中手部保持静止且呈张开手掌姿态，才能获得准确的手部测量数据；如前所述，对于普通患者来说保持固定姿态并不现实，而对于手部功能受损的患者而言更是难以做到。为解决这些问题，我们提出了一种高效且不受姿势影响的方法，其改进点如下：1）我们仅使用单台摄像头拍摄的四张深度图像，且这些深度图像中的手部姿态可以各不相同；2）我们的方法输出张开手掌姿态下的手部形状，这对手部分类识别等下游应用而言至关重要。
### B. 神经参数化手部形状重建
随着深度学习的快速发展，神经网络被引入以解决三维手部重建问题。通过文献综述我们发现，现有方法大多侧重于从RGB图像[^24]、[^25]、[^26]或深度图像[^27]、[^28]、[^29]、[^30]中预测手部姿态。仅有少数研究者尝试重建手部形状，但他们往往同时估计手部的姿态和形状。Malik等人[^31]提出了一种基于深度图像的手部形状重建端到端框架，该框架嵌入了基于模型的手部姿态与形状层，用以生成三维关节位置和手部网格。尽管这种方法能直接从深度图像预测手部网格，但由于复杂参数的优化难度较大，仍会产生伪影。Chen等人[^12]提出的自监督三维手部重建网络不仅能预测三维网格，还能输出纹理信息。Kong等人[^32]提出了一种能够回归MANO参数的身份感知型手部网格估计模型，该模型可结合身份信息来校准形状参数。Yu等人[^33]则在参数化模型与非参数化模型之间找到了平衡，从而提高了手部形状和姿态的预测精度。Luan等人[^34]利用所提出的频率分解损失，能够从单张图像中预测精细的手部网格。然而，上述方法均采用MANO模型的参数回归[^35]来预测手部姿态和形状。这类技术的鲁棒性较差，因为参数的微小变化便可能显著改变手部的形状和姿态。Park等人[^36]和Chen等人[^37]则直接回归
---
Fig. 1. Schematic of PatientHandNet for open-palm hand shape reconstruction. Our method consists of two steps, taking as input four partial point clouds from palmar view, dorsal view, ulnar view, and radial view of the hand and regressing the vertices of an open-palm hand. In the first step, VVTN consumes the four partial hand point clouds and generates four virtual complete hands in the same open-palm pose. The obtained four virtual complete hands are used to calculate transformation parameters between palmar view, ulnar view, radial view, and dorsal view, which enables to roughly align the input four partial hands to form a holistic representation of hand shape. In the second step, HSRN takes as input the four aligned partial point clouds and learns an aggregated feature through MMFA. Then the aggregated feature of MMFA is fed into the HVR module to regress the vertices of the open-palm hand shape in a coarse-to-fine manner.
从RGB图像中获取手部模型的三维关节位置和网格顶点。Park等人[^36]能够利用带有遮挡情况的RGB图像估计手部网格，而[^37]采用的轻量级堆叠结构可借助移动设备从RGB图像中估计手部形状。不过，这类基于RGB的方法很容易在输出结果中产生透视畸变和尺度模糊现象。为解决透视畸变和尺度模糊问题，Malik等人[^38]提出了一种基于顶点回归的方法，该方法能有效建立体素化深度图与
---
体素化手部模型之间的一一对应关系。然而，体素化深度图中包含冗余信息，会干扰网络提取有价值特征的过程[^39]。与上述方法不同，我们专注于以标准张开手掌姿态输出手部形状，从而实现手部形状重建。这种策略能迫使神经网络更多地关注形状而非姿态。
### 三、所提出的方法
### A. 问题阐述
在本节中，我们阐述了本研究中的问题。给定一组未校准的手部局部点云$\mathcal{X} = \{\mathbf{S}^n\}_{n=1}^N$，其中$\mathbf{S}^n = \{s_i^n \in \mathbb{R}^3 | i = 1, 2, \ldots, I^n\}$表示来自第n个视角的、包含$I^n$个点的点集，N为输入的局部点云数量，在本研究中设为4（对应手部的四个视角：掌侧、尺侧、背侧和桡侧视角）。需要注意的是，这些局部手部点云的姿态可能相同也可能不同，且每个$\mathbf{S}^n$中的点数也可能存在差异。我们的目标是设计一种低成本且易于使用的方法，从$\mathcal{Y} = \{(y_j \in \mathbb{R}^3, e_z \in \mathbb{Z}^2) | j = 1, 2, \ldots, J, z = 1, 2, \ldots, Z\}$中重建出具有J个顶点$\mathcal{X}$的高保真张开手掌网格，其中$y_i$和$e_m$分别为$\mathcal{Y}$的顶点和边。针对这一任务，我们提出了一种两步深度学习架构。首先，训练一个变换网络来估计$\mathcal{T}$之间的相对变换关系$\mathcal{X}$。利用$\mathcal{T}$将$\mathcal{X}$对齐到$\hat{\mathcal{X}}$，其表示为$\hat{\mathcal{X}} = \mathcal{X}\mathcal{T}$。随后，我们使用形状重建网络从$\mathcal{Y}$预测张开手掌的形状$\hat{\mathcal{X}}$。因此，这里存在两个映射$M_1 : \mathcal{X} \longmapsto \mathcal{T}$和$M_2 : \hat{\mathcal{X}} \longmapsto \mathcal{Y}$。由$\mathcal{T}$估计出的$M_1$能够增强相邻视角间的依赖性，从而使$M_2$学习到更稳健的手部形状几何与空间表征。为了进一步提升性能，我们还在$M_2$中引入了由粗到精的解码器，利用局部信息来优化手部的顶点坐标。最终，这一过程便能从四个独立的局部点云中生成高保真的张开手掌网格。
如图1所示，我们提出的PatientHandNet主要由两个网络组成：视角间变换网络（VVTN）和手部形状重建网络（HSRN）。它们的具体流程在算法1中有详细说明。
### B. 特征提取器
与[^40]和[^41]的编码器设计类似，我们堆叠了两个简化的PointNet（PN）模块来构建特征提取器，将其命名为组合式PN（CPN）。CPN的架构如图2所示。第一个PN是一个共享的多层感知机（MLP），包含两层并采用ReLU激活函数。它以表示为$I^n$矩阵的$I^n \times 3$个点作为输入，其中每一行代表一个点的三维位置$s_i^n$，该模块会将$s_i^n$转换为点特征向量$f_i^l$。这组$f_i^l$可表示为特征矩阵$F^l$，其中每一行即为$f_i^l$。通过逐点最大池化操作，$F^l$被聚合为一个全局特征$g^l$。接着，我们将$g^l$与每个$f_i^l$拼接，得到更新后的特征矩阵$\hat{F^l}$。最后将$\hat{F}^l$输入第二个PN以学习最终的全局特征。
```pseudo
// Algorithm 1: PatientHandNet
Input: $\mathcal{X} : \{\mathbf{S}^1, \mathbf{S}^2, \mathbf{S}^3, \mathbf{S}^4\}$
Output: $\mathcal{Y}$
1: procedure VVTN $\triangleright$ Input: $\mathcal{X} \triangleright$ Output: $\mathcal{T}$
2: features of $\mathcal{X} : \mathcal{G}^{(0)} \leftarrow \Psi_1(\mathbf{S}_1, \mathbf{S}_2, \mathbf{S}_3, \mathbf{S}_4)$
3: initialize step $t \leftarrow 0$
4: $\mathbf{V}_t^1, \mathbf{V}_t^2, \mathbf{V}_t^3, \mathbf{V}_t^4 \leftarrow \Phi_1(\mathcal{G}^{(t)})$
5: while $\mathcal{L}_{VVTN}((\mathbf{G}_1, \mathbf{G}_2, \mathbf{G}_3, \mathbf{G}_4), (\mathbf{V}_t^1, \mathbf{V}_t^2, \mathbf{V}_t^3, \mathbf{V}_t^4))$ not
```
收敛为止
6: $t \leftarrow t + 1$
7: $\mathbf{V}_t^1, \mathbf{V}_t^2, \mathbf{V}_t^3, \mathbf{V}_t^4 \leftarrow$ Adam优化器 $(\mathbf{V}_{t-1}^1, \mathbf{V}_{t-1}^2, \mathbf{V}_{t-1}^3, \mathbf{V}_{t-1}^4)$，$\mathbf{V}_{t-1}^4$
8: $\text{end while}$
9: $\mathbf{V}_t^1, \mathbf{V}_t^2, \mathbf{V}_t^3, \mathbf{V}_t^4 \leftarrow \mathbf{V}_t^1, \mathbf{V}_t^2, \mathbf{V}_t^3, \mathbf{V}_t^4$
10: $\mathcal{T} \leftarrow \arg\min_{\mathbf{R}_{n3}, \mathbf{t}_{n3}} \sum_{j=1}^J \|\mathbf{R}_{n3} v_j^n + \mathbf{t}_{n3} - \phi(v_j^n, \mathbf{V}^3)\|^2, n = 1, 2, 4$
11: $\text{return} \mathcal{T}$
12: 过程 HSRN $\triangleright$ 输入：$\hat{\mathcal{X}} \triangleright$ 输出：$\mathcal{Y}$
13: $\mathcal{X} : \mathcal{A}^{(0)} \leftarrow \hat{\Psi}(\hat{\mathbf{S}}_1, \hat{\mathbf{S}}_2, \hat{\mathbf{S}}_3, \hat{\mathbf{S}}_4)$的特征
14: 初始化步长 $t \leftarrow 0$
15: $\hat{\mathcal{Y}}_t \leftarrow \hat{\Phi}_1(\mathcal{A}^{(t)})$
16: $\Delta \mathcal{Y}_t \leftarrow \hat{\Phi}_2(\hat{\mathcal{Y}}_t)$
17: $\mathcal{Y}_t \leftarrow \hat{\mathcal{Y}}_t + \Delta \mathcal{Y}_t$
18: 当$\mathcal{L}_{HSRN}(\mathbf{G}_3, \hat{\mathcal{Y}}_t, \mathcal{Y}_t)$未收敛时
19: $t \leftarrow t + 1$
20: $\mathcal{Y}_t \leftarrow$ Adam优化器 $(\mathcal{Y}_{t-1})$
21: $\text{end while}$
22: $\mathcal{Y} \leftarrow \mathcal{Y}_t$
23: 返回 $\mathcal{Y}$
Fig. 2. Architecture of the proposed CPN.
经过对第一个PN的类似处理后，会得到 $g^h$。随后将 $g^l$ 和 $g^h$ 拼接起来，形成组合隐向量C。这种策略能够确保C同时包含从输入点云中提取的低级和高级特征。
### C. 视图间变换网络
如图1的步骤1所示，由于所提出的方法以四个部分点云 $\mathcal{X} = \{\mathbf{S}^1, \mathbf{S}^2, \mathbf{S}^3, \mathbf{S}^4\}$ 作为输入，因此我们设计了一个四分支编码器。一种直观的替代方案是直接利用四个CPN来处理各个部分点云，以获取部分点云的四个全局特征。
---
Fig. 3. Visual comparisons of overlapping the four partial scans without and with pre-alignment. (a) Raw partial point clouds and the overlapping of them by translating their centroids to the origin. (b) Pre-aligned partial point clouds and the overlapping of them.
接着通过最大池化操作融合这些特征，从而得到最终的全局特征。然而，这种解决方案忽略了这些点云之间的空间关系。输入的四个部分点云来自同一只手，但并未校准[图3(a)]。我们的见解是：如果在提取特征之前先对这四个部分点云进行预对齐[图3(b)]，最终的手部重建效果将会显著提升（后续消融实验可看到对比结果）。不过，由于两个主要原因，对这四个部分点云进行预对齐颇具挑战性：1）掌面视图点云与尺侧视图/桡侧视图点云之间的重叠较少，且掌面视图与手背视图点云之间不存在重叠，这使得常用的迭代最近点（ICP）算法 [^42] 及其变体无法发挥作用；2）这四个部分点云的手部姿态各不相同，难以通过刚性配准来解决。为解决这一问题，我们借鉴了 [^43] 的研究成果，提出了VVTN，如图1的步骤1所示。
给定四个部分点云 $\mathbf{S}^1$、$\mathbf{S}^2$、$\mathbf{S}^3$、$\mathbf{S}^4$，VVTN首先使用四个特征提取器分别学习四个组合隐向量。
$$ \begin{aligned}\mathbf{C}_{1}&=\psi_{1}(\mathbf{S}_{1}|w_{1}),\quad\mathbf{C}_{2}=\psi_{2}(\mathbf{S}_{2}|w_{2})\\\mathbf{C}_{3}&=\psi_{3}(\mathbf{S}_{3}|w_{3}),\quad\mathbf{C}_{4}=\psi_{4}(\mathbf{S}_{4}|w_{4})\end{aligned} $$
其中，$\psi_{n}(\cdot|w_{n})$ 表示由CPN学习的权重为 $w_{n}$ 的特征提取函数，n为视图索引。随后，它采用最大池化操作将这四个组合隐向量融合为一个全局特征。
$$ \mathcal{G}=\mathrm{m a x p o o l i n g}(\mathbf{C}_{1},\mathbf{C}_{2},\mathbf{C}_{3},\mathbf{C}_{4};\mathbf{C}_{3},\mathbf{C}_{4};\mathbf{C}_{3}). $$
因此，VVTN的特征提取器 $\Psi$ 由四个 $\psi_n(\cdot|w_n)$ 和一个最大池化层组成。
$$ \mathcal{G}=\Psi(\mathbf{S}_{1},\mathbf{S}_{2},\mathbf{S}_{3},\mathbf{S}_{4}|w_{e}). $$
接下来，$\mathcal{G}$ 会被进一步送入解码器 $\Phi$，该解码器由四个带有重塑操作的MLP构成，用于预测虚拟对应点 [^43]，这些对应点表现为四个姿势相同的张开手掌形态的完整手部。
$$ \mathbf{V}^{1},\mathbf{V}^{2},\mathbf{V}^{3},\mathbf{V}^{4}=\Phi(\mathcal{G}|w_{d}) $$
其中 $\mathbf{V}^n = \{v_j^n \in \mathbb{R}^3 | j = 1, 2, \ldots, J\}$ 表示具有 J 个点的点集，这些点对应于 $\mathbf{S}^n$，n 为视图索引。由于 $\mathbf{V}^1, \mathbf{V}^2, \mathbf{V}^3$ 和 $\mathbf{V}^4$ 具有相同数量与顺序的点，以及相同的手形和姿态，因此在 $\mathbf{V}^1, \mathbf{V}^2, \mathbf{V}^3$ 和 $\mathbf{V}^4$ 之间构建虚拟对应关系。给定这些虚拟对应关系，可以很容易地计算 $\mathbf{S}^1, \mathbf{S}^2, \mathbf{S}^3$ 和 $\mathbf{S}^4$ 之间的变换参数，并可用于对齐 $\mathbf{S}^1, \mathbf{S}^2, \mathbf{S}^3, \mathbf{S}^4$，尽管它们具有不同的手部姿态且重叠区域很小。具体而言，我们将 $\mathbf{V}^3$ 作为参考视图（或目标视图），对应于我们最终重建的 $\mathcal{Y}$。变换 $\mathcal{T} = \{\mathbf{R}_{n3}, \hat{\mathbf{t}}_{n3} | n = 1, 2, 4\}$（作用于 $\{\mathbf{V}^3, \mathbf{V}^n | n = 1, 2, 4\}$）可以通过求解以下优化问题来估计：
$$ \hat{\mathbf{R}}_{n3},\hat{\mathbf{t}}_{n3}=\underset{\mathbf{R}_{n3},\mathbf{t}_{n3}}{\arg\min}\sum_{j=1}^{J}\left\|\mathbf{R}_{n3}v_{j}^{n}+\mathbf{t}_{n3}-\phi\big(v_{j}^{n},\mathbf{V}^{3}\big)\right\|^{2} $$
其中，$\mathbf{R}_{n3} \in \mathrm{SO}(3)$ 和 $\mathbf{t}_{n3} \in \mathbb{R}^3$ 分别是从第 n 个视角到第 3 个视角的估计旋转矩阵和平移向量。假设 $\hat{\mathbf{R}}_{n3}$ 和 $\hat{\mathbf{t}}_{n3}$ 是最优旋转和平移，$\phi(v_j^n, \mathbf{V}^3)$ 是一个对应函数，用于将 $v_j^n$ 中的点 $\mathbf{V}^n$ 映射到其在 $\mathbf{V}^3$ 中的对应点。$\mathbf{S}^n$ 中的每个 $\mathcal{X}$ 都可以与 $\mathbf{S}^3$ 对齐，记为 $\hat{\mathbf{S}}^n$。
$$ \begin{array}{r}{\hat{\mathbf{S}}^{n}=\mathbf{S}^{n}[\hat{\mathbf{R}}_{n3},\hat{\mathbf{t}}_{n3}].}\end{array} $$
由于 $\mathbf{S}^3$ 是参考视图，因此 $\hat{\mathbf{S}}^3$ 仍然是 $\mathbf{S}^3$。所以，$\hat{\mathcal{X}}$ 就是 $\hat{\mathbf{S}}^1$、$\hat{\mathbf{S}}^2$、$\hat{\mathbf{S}}^3$ 和 $\hat{\mathbf{S}}^4$ 的组合。
### D. 手部形状重建网络
HSRN 采用编码器-解码器架构。所提出的编码器以多尺度和多视角方式学习聚合特征，称为多尺度多视角特征聚合（MMFA）。所提出的解码器能够采用从粗到精的策略来回归 3D 模型顶点，这一策略被称为手部顶点回归（HVR）。
1) 多尺度多视角特征聚合：预先对齐的局部点云 $\hat{\mathcal{X}} = \{\hat{\mathbf{S}}^{1}, \hat{\mathbf{S}}^{2}, \hat{\mathbf{S}}^{3}, \hat{\mathbf{S}}^{4}\}$ 会被进一步输入到 MMFA 中。顾名思义，MMFA 旨在通过学习从输入的局部点云中提取的多尺度和多视角信息来生成特征。我们注意到，掌侧视图和背侧视图的点云包含更多关于手长和宽的信息，而尺侧视图和桡侧视图的点云在描述手的厚度方面更具信息量。因此，MMFA 的设计包含三个步骤。首先，使用 CPN 提取单视角点云 $\{\hat{\mathbf{S}}^{3}\}$ 的特征。接下来，应用 CPN 来学习两个点云拼接后的特征 $\{\hat{\mathbf{S}}^{3}, \hat{\mathbf{S}}^{4}\}$。最后，利用另一个 CPN 来获取所有点云拼接后的特征 $\{\hat{\mathbf{S}}^{1}, \hat{\mathbf{S}}^{2}, \hat{\mathbf{S}}^{3}, \hat{\mathbf{S}}^{4}\}$。这些特征可以表示如下：
$$ \begin{aligned}\hat{\mathbf{C}}^{3}&=\hat{\psi}_{1}(\hat{\mathbf{S}}^{3}|\hat{w}_{1})\\\hat{\mathbf{C}}^{3,4}&=\hat{\psi}_{2}(\mathrm{cat}(\hat{\mathbf{S}}^{3},\hat{\mathbf{S}}^{4})|\hat{w}_{2})\\\hat{\mathbf{C}}^{1,2,3,4}&=\hat{\psi}_{3}(\mathrm{cat}(\hat{\mathbf{S}}^{1},\hat{\mathbf{S}}^{2},\hat{\mathbf{S}}^{3},\hat{\mathbf{S}}^{4})|\hat{w}_{3})\end{aligned} $$
其中，$\hat{\psi}_n(\cdot|\hat{w}_n)$ 表示由 CPN 学习的权重为 $\hat{w}_n$ 的特征提取函数，cat($\cdot$) 表示拼接操作，而 $\hat{\mathbf{C}}^3$、$\hat{\mathbf{C}}^{3,4}$、$\hat{\mathbf{C}}^{1,2,3,4}$ 则是三个
---
多尺度多视角特征，它们从几何和空间角度描述了手部形状。$\mathbf{C}^{3}$ 包含了手部长度和宽度的几何信息。$\mathbf{\hat{C}}^{3,4}$ 不仅改善了相对于 $\mathbf{\hat{C}}^{3}$ 的手部厚度，还建立了 $\mathbf{S}^{3}$ 与 $\mathbf{\hat{S}}^{4}$ 之间的相对空间关系。$\mathbf{\hat{C}}^{1,2,3,4}$ 融合了所有视图的信息，进一步增强了 3D 手部的几何和空间表征。最终，所有这些特征通过最大池化操作融合成一个综合表征，称为聚合特征 $\mathcal{A}$。
$$ \mathcal{A}=\mathrm{m a x p o o l i n g}(\hat{\mathbf{C}}^{3};\hat{\mathbf{C}}^{3,4};\hat{\mathbf{C}}^{1,2,3,4}). $$
因此，HSRN 的特征提取器 $\hat{\Psi}$ 由三个 $\hat{\psi}_n(\cdot|\hat{w}_n)$ 和一个最大池化层组成
$$ \mathcal{A}=\hat{\Psi}(\hat{\mathbf{S}}_{1},\hat{\mathbf{S}}_{2},\hat{\mathbf{S}}_{3},\hat{\mathbf{S}}_{4}|\hat{w}_{e}). $$
2) 手部顶点回归：HVR以聚合特征$\mathcal{A}$作为输入，旨在输出高保真度的张开手掌模型，如图1的步骤2所示。为此，采用MLP直接回归张开手掌的顶点坐标。然而，这种全局策略忽略了手部的局部信息。为克服这一局限，我们提出了一种优化方法：在HVR模块中嵌入局部自注意力变换器（ST）与MPL，以对重建手部的顶点坐标进行局部优化。我们首先利用一个带有重塑操作的MLP $\hat{\Phi}_1$来预测初始重建的手部形状，该形状表示为$\hat{Y}$。
$$ \hat{\mathcal{Y}}=\hat{\Phi}_{1}(\mathcal{A}|\hat{w}_{d1}). $$
然后，$\hat{y}$ 中的每个点 $\hat{y}$ 都将通过 ST 进行细化，如 Fig. 4 所示。给定第 j 个点 $\hat{y}_j$（属于 $\hat{y}$），我们首先计算注意力分数 $\{\mathbf{a}_{j,k}|k = 1,2,\ldots,K\ k \neq j\}$，即 $\hat{y}_j$ 与其 k-近邻点 $(k\text{-NN})$ $\{\hat{y}_{j,k}|k = 1,2,\ldots,K,k \neq j\}$ 之间的分数，具体如下：
$$ \mathbf{a}_{j,k}=\frac{\exp(M_{Q}(\hat{y}_{j})\ominus M_{K}(\hat{y}_{j,k}))}{\sum_{k=1}^{K}\exp(M_{Q}(\hat{y}_{j})\ominus M_{K}(\hat{y}_{j,k}))} $$
其中$M_{Q}, M_{K}$表示具有不同参数的MLP，$\ominus$表示逐元素减法。最终，可得到$\mathbf{p}_{j}$的点空间特征$\hat{y}_{j}$，计算公式如下：
$$ \mathbf{p}_{j}=M_{V}(\hat{\mathbf{y}}_{j})\oplus\sum_{k=1}^{K}a_{j,k}\odot M_{V}(\hat{\mathbf{y}}_{j,k}) $$
其中$M_V$表示MPL。$\oplus$和$\odot$分别表示逐元素加法和哈达玛积运算。点空间特征$\mathbf{p}_j$被送入MLP，以生成$\mathbf{d}_j$的位移特征$\hat{y}_j$。$\mathbf{d}_j$进一步用于生成点位移$\Delta\hat{y}_j$，其公式如下：
$$ \Delta\hat{y}_{j}=\operatorname{t a n h}(\operatorname{M L P}(\mathbf{d}_{j})) $$
其中$\tanh$为双曲正切激活函数。因此，$\hat{y}_j$上的所有$\hat{y}$均会产生位移，公式如下：
$$ \Delta\mathcal{Y}=\hat{\Phi}_{2}(\hat{\mathcal{Y}}|\hat{w}_{d2}) $$
其中$\hat{\Phi}_2(\cdot|\hat{w}_{d2})$为带有权重$\hat{w}_{d2}$的ST模块。最终，$\hat{y}$通过$\Delta\mathcal{Y}$得到优化。
$$ \mathcal{Y}=\hat{\mathcal{Y}}+\Delta\mathcal{Y} $$
其中Y即为优化后的手部形状。
Fig. 4. Structure of the ST module.
### E. 损失函数
所提出的模型采用监督式端到端方式进行训练。如图1所示，PatientHandNet包含两个神经网络。为训练模型，我们定义了以下损失函数以评估重建误差。
1) 视图间变换网络：VVTN设有四个分支，用于预测与$\{\mathbf{V}^1, \mathbf{V}^2, \mathbf{V}^3, \mathbf{V}^4\}$对应的虚拟对应点$\{\mathbf{S}^1, \mathbf{S}^2, \mathbf{S}^3, \mathbf{S}^4\}$。这四个分支分别由处于张开手掌姿态、含有J个关节点的四个SMPL-X手部模型进行监督，这些模型记为$\{\mathbf{G}^1, \mathbf{G}^2, \mathbf{G}^3, \mathbf{G}^4\}$，对应$\{\mathbf{S}^1, \mathbf{S}^2, \mathbf{S}^3, \mathbf{S}^4\}$的真实值。因此，VVTN的损失函数针对这四个分支进行定义。
$$ \begin{aligned}\mathcal{L}_{\mathrm{VVTN}}&=\mathcal{L}(\mathbf{V}^{1},\mathbf{G}^{1})+\mathcal{L}(\mathbf{V}^{2},\mathbf{G}^{2})+\mathcal{L}(\mathbf{V}^{3},\mathbf{G}^{3})+\mathcal{L}(\mathbf{V}^{4},\mathbf{G}^{4})\\&=\frac{1}{J}\sum_{j=1}^{J}\left\|v_{j}^{1}-g_{j}^{1}\right\|^{2}+\frac{1}{J}\sum_{i=1}^{J}\left\|v_{j}^{2}-g_{j}^{2}\right\|^{2}\\&\quad+\frac{1}{J}\sum_{i=1}^{J}\left\|v_{j}^{3}-g_{j}^{3}\right\|^{2}+\frac{1}{J}\sum_{i=1}^{J}\left\|v_{j}^{4}-g_{j}^{4}\right\|^{2}\tag{16}\end{aligned} $$
其中$v_j \in \mathbf{V}$、$g_j \in \mathbf{G}$分别是$\mathbf{V}$、$\mathbf{G}$中的第j对对应点。
2) 手部形状重建网络：HSRN以张开手掌模型G $^{3}$为监督信号，采用由粗到细的方式进行训练。因此，我们定义如下损失函数：
$$ \begin{aligned}\mathcal{L}_{\mathrm{H S R N}}&=\mathcal{L}(\hat{\mathcal{Y}},\mathbf{G}^{3})+\mathcal{L}(\mathcal{Y},\mathbf{G}^{3})\\&=\frac{1}{J}\sum_{j=1}^{J}\left\|\hat{\mathbf{y}}_{j}-g_{j}^{3}\right\|^{2}+\frac{1}{J}\sum_{i=1}^{J}\left\|\mathbf{y}_{j}-g_{j}^{3}\right\|^{2}\end{aligned} $$
其中$\hat{y}_j \in \hat{\mathcal{Y}}, y_j \in \mathcal{Y}$和$g_j^3 \in \mathbf{G}^3$分别是$\hat{\mathcal{Y}}, \mathcal{Y}$和$\mathbf{G}^3$中的第j对对应点。
3) 总损失：我们的总损失由$\mathcal{L}_{VVTN}$和$\mathcal{L}_{HSRN}$的加权和构成。
$$ \mathcal{L}=\alpha_{1}\times\mathcal{L}_{\mathrm{VVTN}}+\alpha_{2}\times\mathcal{L}_{\mathrm{HSRN}} $$
其中$\alpha_{1}$和$\alpha_{2}$是用于控制各项贡献权重的参数。
---
Fig. 5. Proposed pipeline of synthetic dataset generation. We first utilize FrankMocap to extract pose parameters ( $\theta$) of the SMPL-X model from RGB images. The shape parameters ( $\beta$) of the SMPL-X model are taken from the SURREAL. Next, we randomly combine $\beta$ and $\theta$ to generate four posed bodies with the same identity, from which we easily obtain the hand meshes. The ground-truth open-palm hand meshes can be obtained via resetting the random $\theta$ to be the predefined $\theta_0$. Finally, we render realistic partial scans from the posed hands via the open-source Blensor.
### F. 提出的数据集
1) 合成数据集：为了训练我们的模型，需要一个大规模数据集，其中包含同一只手的四组局部扫描图像以及对应的张开手掌手部网格真值。此外，这四组局部扫描图像中的手部姿态可能相同也可能不同。遗憾的是，现有的公开手部数据集均无法满足这些要求。现有手部数据集缺乏张开手掌的手部形状真值，且大多数仅包含单张掌心朝向的深度图像。一种直观的解决方案是通过对真实受试者进行扫描来收集数据集，但这种方式对于大规模数据集（例如10万个样本）而言成本极高且耗时漫长。为解决这一问题，我们提出了一种创新方法，用于生成训练PatientHandNet所需的合适数据集。图5展示了生成此类数据集的流程。
a) 生成三维手部网格：首先，我们从网上收集了1.2万张由男性和女性受试者做出的不同动作的图像。接着，利用先进的基于RGB的手部和动作捕捉系统FrankMocap [^44]，从这些图像中提取出SMPL-X模型的$\theta$参数和$\beta$参数。SMPL-X [^45]是一种生成式人体模型，包含两个关键参数：姿态参数$\theta$和形状参数$\beta$。给定一对$\theta$和$\beta$参数，就能得到具有指定身体姿态、手部姿势和面部表情的新人体网格。因此，通过FrankMocap我们获得了1.2万个$\theta$参数和1.2万个$\beta$参数。我们发现，估计出的姿态效果良好，但由于通过FrankMocap进行二维到三维转换时存在固有的尺度歧义，估计出的形状精度较低。于是我们舍弃了这1.2万个$\beta$参数，转而使用来自SURREAL数据集 $\beta$ 的2103个[^46]参数。接下来，我们通过随机组合$\beta$参数和$\theta$参数，得到了大规模人体数据集。具体来说，我们随机选取一个$\beta$参数和四个$\theta$参数来创建四个人体模型，这些模型具有相同的身体形状但手部姿态不同。通过指定预设的张开手掌姿态（记为$\theta_0$），我们构建了具有设计好的张开手掌形状的另一个人体模型。从这些人体模型中可以轻松提取出左手和右手，从而构成我们数据集的一个样本（四对带姿态的手作为输入，一对张开手掌的手作为真值）。
Fig. 6. Our synthetic meshes with hand shape and pose variations. Each row is from the same subject with different hand poses, the last column depicts the ground-truth hand meshes.
通过这种方式，我们为所提出的数据集生成了30万个样本。图6展示了所提出数据集的样本。
b) 渲染多视角局部扫描图像：我们使用开源的Blender传感器模拟插件Blensor [^47]来渲染手部的局部扫描图像。在本研究中，我们将相机设置为Microsoft Kinect V2，扫描距离随机选取在0.5米到0.8米之间。为了模拟真实世界的扫描场景，我们还在x、y、z三个方向上添加了随机旋转，旋转角度范围从$-10^\circ$到$10^\circ$；同时我们也加入了噪声。我们分别渲染左手和右手的图像。
如前所述，我们的手部网格数据集中的每个样本包含四只带姿态的手和一只张开手掌的手部真值。从四个设定好的视角（掌心视角、尺侧视角、背侧视角和桡侧视角）分别为每个带姿态的手部网格渲染一张局部扫描图像，就完成了包含多视角局部手部扫描图像及对应张开手掌手部网格真值的数据生成过程。
c) 合成手部数据集的统计信息：为分析我们所提数据集的手形，我们基于张掌姿态测量了 13 个主要维度的长度 [^48]，如 Fig. 7 所示。以手长
---
1-Hand length 2-Palm length 3-Palm breadth 4-Palm thickness 5-Thumb length 6-Index length 7-Middle length 8-Ring length 9-Little length 10-Thumb breadth/girth 11-Index breadth/girth 12-Middle breadth/girth 13-Ring breadth/girth 14-Little breadth/girth
Fig. 7. 13 dimensions of hand accompanying with their IDs on the hand template and the statistics of lengths of 13 dimensions in our synthetic dataset.
为例（Measurement Type #1），其 50% 的长度分布在 17 至 22 cm 之间，这与 [^49] 中真实世界手部生物特征统计结果一致。此外，手长的最小长度和最大长度分别为 13 和 25.2 cm，广泛覆盖了从儿童到成人的手长范围。其他维度具有相似的统计特性。
### IV. 实验
### 四、实验
我们将所提出的方法与基于合成数据及真实世界数据的先进形状重建方法进行了比较，这些方法包括：HandAR [^13]、$S^{2}$-HAND [^12]、HandOccNet [^36]、SnowflakeNet [^50]、L2H [^51]以及MobRecon [^37]。
当我们使用第III-F1节中提到的未见过的合成数据集时，随机选取了720个样本，这些样本以张开手掌作为基准真值，且与训练集和验证集没有重叠。所选数据以点云形式表示，可作为基于点的方法（SnowflakeNeta [^50]和L2H [^51]）的输入。然而，基于RGB的方法（HandAR [^13]、$S^{2}$-HAND [^12]、HandOccNet [^36]以及MobRecon [^37]）则需要RGB图像作为输入。为了确保公平比较，我们通过渲染与所选数据对应的张开手掌基准真值网格来获取RGB图像。
我们也在真实世界数据上评估性能。如第III-F2节所述，我们收集的真实世界数据
(a) Four-view depth images acquisition of real-world data
(b) Measurement values acquisition of real-world data
Fig. 8. (a) iPad embedded with a structure sensor Mark I is employed to scan a hand and produce four-view depth images. (b) Professional anthropometrist uses tape to extract biometrics measurements according to the 14 dimensions detailed in Fig. 7. The table shows the measurement values.
由部分点云以及由专业人体测量师提取的对应基准真值手部测量值组成。此外，相应的RGB图像也被采集下来。因此，可以在具有基准真值手部测量值的真实世界数据上评估基于点的方法和基于RGB的方法的性能。
最后，我们基于这720个样本进行消融实验，以了解所提出方法中关键组件的有效性，这些组件包括多视角输入、预对齐输入、多尺度处理、多视角特征学习以及基于点的细化策略。
### A. 实验设置
训练在一台配备Intel $^{1}$ Core i9-10900 CPU @ 2.80 GHz和GeForce RTX 3090Ti的台式电脑上进行。训练共进行200个周期，前50个周期我们设置$\alpha_1 = 1$和$\alpha_2 = 0$，其余周期则设置$\alpha_1 = 1$和$\alpha_2 = 1$。
### B. 评估指标
1) 合成数据上的评估指标：由于合成数据集包含手掌张开状态的真实手部模型，因此可以通过比较预测的手部形状与真实手部形状来计算误差。为此，我们采用了广泛使用的重建评估指标：倒角距离（Chamfer Distance, CD）[^52]。CD误差衡量的是预测手部$\mathcal{Y}$与真实手部$\mathbf{G}^{3}$之间平均最近平方距离，其定义如下：
$$ \begin{align*}E_{\mathrm{CD}}(\mathcal{Y},\mathbf{G}^{3})=\frac{1}{2}\Biggl[\frac{1}{|\mathcal{Y}|}\sum_{y\in\mathcal{Y}}\min_{g^{3}\in\mathbf{G}^{3}}\|y-g^{3}\|_{2}^{2}\\+\frac{1}{|\mathbf{G}^{3}|}\sum_{g^{3}\in\mathbf{G}^{3}}\min_{y\in\mathcal{Y}}\|g^{3}-y\|_{2}^{2}\Biggr].\end{align*} $$
$^{1}$注册商标。
---
Fig. 9. Visual comparison of hand shape reconstruction error with state-of-the-art methods on synthetic data. From top to bottom: the results of HandAR [^13], $S^{2}$-HAND [^12], HandOccNet [^36], SnowflakeNet [^50], L2H [^51], MobRecon [^37], our results, and the ground truth. The colored points represent the point-to-point errors in millimeters between reconstructed hand shape and GT.
2) 真实数据上的评估指标：与合成数据集不同，真实数据集仅提供多视角的部分扫描数据作为输入，缺乏手掌张开状态的真实手部模型，因此无法使用CD指标。幸运的是，我们收集的真实数据集包含了由专业人体测量师测量的手部尺寸数据，这些数据可作为真实的测量值。从重建的手部模型中可以轻松提取手部尺寸信息。因此，我们通过比较预测的测量值$M_{pred}$与真实的测量值$M_{gt}$，采用绝对误差（Absolute Error, AE）和相对误差（Relative Error, RE）来衡量测量误差。AE和RE的定义如下：
$$ E_{\mathrm{AE}}=|M_{\mathrm{pred}}-M_{\mathrm{gt}}| $$
$$ E_{\mathrm{RE}}=\frac{\left|M_{\mathrm{pred}}-M_{\mathrm{gt}}\right|}{M_{\mathrm{gt}}}\times100. $$
3) 合成数据上的结果：我们首先将我们的结果与不同方法在未见过的合成数据上的表现进行对比。图9展示了定量对比结果，每个点根据重建手部形状与真实形状之间的点对点误差（单位：毫米）进行着色。可以看出，$S^2$-HAND [^12]和HandOccNet [^36]的结果并未呈现手掌张开姿态，且手指部分存在严重弯曲现象。
TABLE I
AVERAGE MEAN, STANDARD DEVIATION AND MAXIMUM DISTANCE OF CD ON SYNTHETIC DATA (UNIT: mm)
| Methods | $\mu$ | $\sigma$ | max |
| HandAR $^{[13]}$ | 12.38 | 4.31 | 43.84 |
| $S^{2}HAND$ $^{[12]}$ | 13.34 | 3.63 | 21.93 |
| HandOccNet $^{[36]}$ | 13.41 | 4.90 | 27.57 |
| SnowflakeNe $^{[50]}$ | 0.34 | 0.75 | 2.50 |
| L2H $^{[51]}$ | 0.43 | 0.81 | 2.62 |
| MobRecon $^{[37]}$ | 5.98 | 3.19 | 19.18 |
| Ours | 0.21 | 0.63 | 2.29 |
HandAR [^13]的结果在小指处出现了严重变形，第九个结果甚至完全坍塌。SnowflakeNet [^50]、L2H [^51]和MobRecon [^37]的结果几何形状较好。然而，它们的点对点误差大于我们提出的方法，尤其是MobRecon [^37]，这表明基于RGB的方法容易导致形状上的尺度模糊问题。
我们还计算了平均值$\mu$、平均标准差$\sigma$以及公式(19)中的最大距离max，以此定量评估各方法的性能，并将结果汇总在表I中。由此我们可以得出两个主要结论。首先，基于深度信息的方法相比基于RGB的方法性能更优。例如，我们的方法
---
TABLE II
MEAN OF ABSOLUTE AND RELATIVE ANTHROPOMETRIC MEASUREMENTS ERRORS COMPARISON ON REAL-WORLD DATA (UNIT: mm)
| Measurements | Female (S subjects) | Male (S subjects) | | | |
| HandOCC[^150] | $S^{2}H$AND[^12] | HandOCC[^36] | SnowflakeNo[^50] | L2H[^51] | MobRecon[^37] | Ours | HandOCC[^150] | $S^{2}H$AND[^12] | HandOCC[^36] | SnowflakeNo[^50] | L2H[^51] | MobRecon[^37] | Ours | | |
| E_AE | E_BE | E_AE | E_BE | E_AE | E_BE | E_AE | E_BE | E_AE | E_BE | E_AE | E_BE | E_AE | E_AE | E_BE | E_AE | E_BE | E_AE | E_BE | E_AE | E_BE | E_AE | E_BE | E_AE | E_BE | | | |
| 1- Hand length | 63.8 | 35% | 10.0 | 5.4% | 7.6 | 4.2% | 5.2 | 2.8% | 4.8 | 2.6% | 15.4 | 8.2% | 2.0 | 1.1% | 43.0 | 20.0% | 34.4 | 16.1% | 23.6 | 10.8% | 6.6 | 3.2% | 4.6 | 2.1% | 25.4 | 11.6% | 1.6 | |
| 2- Palm length | 33.8 | 8.8 | 8.6 | 6.6 | 5.4% | 5.4 | 3.7% | 5.0 | 5.2% | 10.6 | 10.2% | 1.4% | 1.4% | 1.4% | 18.8 | 18.6% | 14.1% | 18.5% | 14.5% | 5.8 | 3.1% | 3.9% | 17.4 | 17.4% | 17.4 | 2.2 | 4.0 | |
| 3- Palm breadth | 29.2 | 35.9% | 8.8 | 10.5% | 8.2 | 10.0% | 3.4 | 5.3% | 3.7 | 4.1% | 11.6 | 14.2% | 1.6 | 2.0% | 21.6 | 22.3% | 21.0% | 22.2% | 18.6 | 19.5% | 4.8 | 5.1% | 5.8 | 5.9% | 17.8 | 18.6% | 2.0 | |
| 4- Thumb length | 25.6 | 42.6% | 11.0 | 18.2% | 7.8 | 12.9% | 4.2 | 6.9% | 4.4 | 7.3% | 9.6 | 15.8% | 1.8 | 3.0% | 17.2 | 24.7% | 15.6% | 23.4% | 11.8 | 16.8% | 4.4 | 6.5% | 4.6 | 6.6% | 14.0 | 0.0% | 2.0 | |
| 5- Palm length | 27.4 | 36.4% | 10.4 | 14.3% | 8.2 | 11.2% | 3.2 | 4.4% | 2.6 | 5.6% | 7.5 | 5.2% | 0.8 | 1.4% | 14.6 | 15.8% | 17.4 | 14.8% | 15.0% | 10.1% | 3.0 | 5.8% | 5.2% | 9.0 | 9.0% | 14.8 | 1.7 | |
| 6- Middle length | 29.6 | 36.5% | 7.8 | 8.8% | 4.2 | 5.1% | 4.4 | 5.7% | 3.6 | 4.5% | 3.2 | 8.7% | 3.2 | 4.0% | 18.8 | 20.0% | 15.2% | 16.4% | 12.0 | 12.8% | 3.4 | 4.0% | 4.2 | 4.7% | 9.0 | 9.8% | 2.0 | |
| 7- Ring length | 25.4 | 34.4% | 9.2 | 13.2% | 7.6 | 10.3% | 3.4 | 4.7% | 1.8 | 3.3% | 6.6 | 8.8% | 2.4 | 3.3% | 18.4 | 21.5% | 10.6 | 24.4% | 13.4 | 15.5% | 4.6 | 5.7% | 5.0 | 6.1% | 13.0 | 14.9% | 2.8 | |
| 8- File length | 25.4 | 36.6% | 4.0 | 15.2% | 7.4 | 12.5% | 3.6 | 6.0% | 3.0 | 5.1% | 2.4 | 5.8% | 0.8 | 1.7% | 14.8 | 16.8% | 12.1% | 16.3% | 12.9% | 10.3% | 3.4 | 5.8% | 4.7% | 5.9% | 7.4 | 10.9% | 2.4 | |
| 9- Palm thickness | 7.2 | 27.8% | 17.7 | 6.0 | 17.7% | 6.0 | 23.0% | 4.8 | 16.8% | 4.2 | 16.6% | 2.8 | 10.6% | 1.2 | 5.0% | 8.8 | 28.6% | 9.2 | 30.2% | 9.0 | 29.7% | 2.2 | 7.1% | 3.6 | 12.1% | 6.2 | 20.9% | 1.8 |
| 10- Thumb girth | 12.8 | 19.7% | 7.8 | 12.0% | 6.8 | 10.5% | 4.4 | 6.8% | 5.6 | 8.7% | 6.0 | 9.2% | 2.2 | 3.4% | 13.8 | 17.8% | 18.2 | 23.5% | 16.4 | 21.0% | 18.7% | 4.0 | 5.4% | 4.4 | 6.1% | 13.2 | 17.0% | 2.0 |
| 11- Middle girth | 10.0 | 7.0 | 11.0% | 7.0 | 11.0% | 9.5% | 5.2 | 8.9% | 7.5 | 5.2% | 4.0 | 6.7% | 2.6 | 2.5% | 12.6 | 16.2% | 16.4% | 12.3% | 13.4% | 12.4% | 10.4% | 1.8 | 5.8% | 6.8% | 11.8% | 1.2 | 1.7 | |
| 12- Middle girth | 11.2 | 18.9% | 6.6 | 10.1% | 4.8 | 8.0% | 4.4 | 6.2% | 4.8 | 7.1% | 3.5 | 8.3% | 1.4 | 4.1% | 12.8 | 17.9% | 15.8 | 15.8% | 12.2 | 12.2% | 5.2 | 7.6% | 3.4 | 6.9% | 8.2 | 11.4% | 1.8 | |
| 13- Ring width | 9.2 | 16.2% | 5.6 | 10.1% | 6.4 | 11.6% | 3.4 | 6.2% | 4.8 | 7.8% | 3.0 | 8.9% | 1.4 | 2.5% | 9.6 | 15.0% | 12.2 | 19.2% | 10.8 | 17.0% | 5.2 | 8.3% | 4.8 | 7.6% | 7.2 | 11.1% | 1.4 | |
| 14- Little length | 9.2 | 19.8% | 5.0 | 10.9% | 5.2 | 11.3% | 4.0 | 9.1% | 4.4 | 10.0% | 4.6 | 9.9% | 2.8 | 6.4% | 10.4 | 18.2% | 12.4 | 22.0% | 11.0 | 19.5% | 5.2 | 9.3% | 4.0 | 7.1% | 7.0 | 12.3% | 2.2 | |
| Average | | 22.7 | 29.6% | 8.0 | 21.7% | 6.5 | 10.4% | 4.2 | 6.9% | 4.1 | 6.8% | 6.7 | 9.2% | 2.1 | 3.4% | 17.5 | 20.5% | 17.4 | 21.7% | 13.8 | 17.5% | 4.5 | 6.0% | 4.3 | 6.0% | 11.9 | 1.9 | |
使得$\mu$、$\sigma$和max分别较HandAR [^13]提升了12.17毫米、3.68毫米和41.55毫米。这验证了更精确的手部形状重建需要依赖三维信息。其次，与不同的基于深度图像的方法相比，我们的方法在所有指标上的表现均最优。具体而言，我们的方法在[^50]和[^51]两项指标上均显著优于SnowflakeNet $\mu$和L2H $\sigma$，这意味着我们的方法在全局手部形状的重建上精度更高。我们的方法对max指标的改善也十分明显，这表明我们的方法能够实现最精确的局部手部形状重建。
4) 真实数据上的结果：我们的模型训练成功后，能很好地泛化到真实数据上。我们进一步利用收集到的真实数据集，对提出的方法与其他方法进行了定性比较，如图10所示。需要注意的是，$S^{2}$-HAND [^12]和HandOccNet [^36]的结果并非手掌张开姿态，而是手指弯曲状态；HandAR [^13]的结果在形状上存在明显变形。MobRecon [^37]的结果呈现多种手部姿态，而非手掌张开姿势。尽管SnowflakeNet [^50]和L2H [^51]的结果与我们类似，但根据表II中针对五名女性和五名男性的定量手部测量对比结果可知，我们的方法实际上取得了最佳效果。此外，基于RGB的方法的平均绝对误差（AE）和相对误差（RE）分别超过5毫米和9%；基于深度的方法——SnowflakeNet [^50]和L2H [^51]的AE和RE分别超过4毫米和5%，而我们的结果则小于3毫米和4%。真实数据上的结果与未见过的合成数据上的结果一致，这进一步证明了所提方法的有效性。
### C. 鲁棒性
在本节中，我们展示了所提方法在不同格式的真实数据上的鲁棒性。我们随机选取了五名男性真实受试者的扫描数据，并引入不同水平的高斯噪声，具体为$\sigma = 0.1\%$、0.2%、0.3%，以研究噪声对我们方法的影响。误差结果如表III所示。噪声水平越高，误差越大。不过即便存在0.3%的噪声，最大绝对误差仍小于5毫米，这一数值被认为是可以接受的。这些结果表明，我们的方法能够有效过滤掉无关或错误信息，从而能够专注于提取有价值的特征以实现可靠的预测。
TABLE III
MEAN OF ABSOLUTE AND RELATIVE ANTHROPOMETRIC MEASUREMENTS ERRORS ON FIVE MALE REAL-WORLD DATA FOR VARIOUS NOISE LEVELS (UNIT: mm)
| Measurements | $\sigma = 0$ | $\sigma = 0.1\%$ | $\sigma = 0.2\%$ | $\sigma = 0.3\%$ |
| $E_{AE}$ | $E_{RE}$ | $E_{AE}$ | $E_{RE}$ | $E_{AE}$ | $E_{RE}$ | $E_{AE}$ | $E_{RE}$ |
| 1-Hand length | 1.60 | 0.74% | 2.20 | 1.13% | 2.60 | 1.21% | 3.60 | 1.60% |
| 2-Palm length | 2.20 | 1.91% | 3.00 | 2.33% | 3.80 | 3.29% | 3.60 | 3.24% |
| 3-Palm width | 2.20 | 2.39% | 2.40 | 2.49% | 2.60 | 2.86% | 3.40 | 3.49% |
| 4-Thumb length | 2.00 | 2.83% | 2.00 | 3.20% | 2.00 | 2.98% | 2.20 | 3.07% |
| 5-Index length | 1.40 | 1.71% | 1.80 | 2.52% | 2.80 | 3.54% | 3.00 | 3.57% |
| 6-Middle length | 2.00 | 2.23% | 2.40 | 2.97% | 3.60 | 4.06% | 4.20 | 4.49% |
| 7-Ring length | 2.80 | 3.44% | 3.10 | 4.11% | 3.70 | 4.57% | 4.40 | 5.23% |
| 8-Little length | 2.00 | 3.23% | 2.80 | 4.78% | 3.80 | 6.00% | 4.60 | 6.90% |
| 9-Palm thickness | 1.20 | 3.90% | 1.80 | 6.57% | 3.00 | 9.87% | 3.80 | 11.81% |
| 10-Thumb girth | 2.00 | 2.66% | 2.40 | 3.52% | 3.20 | 4.30% | 3.60 | 5.08% |
| 11-Index girth | 1.20 | 1.66% | 1.40 | 1.89% | 1.40 | 2.02% | 2.20 | 2.87% |
| 12-Middle girth | 1.80 | 2.61% | 2.00 | 2.42% | 2.20 | 3.18% | 3.00 | 4.03% |
| 13-Ring girth | 1.40 | 2.19% | 1.60 | 2.89% | 1.00 | 1.63% | 1.40 | 2.58% |
| 14-Little girth | 2.20 | 3.94% | 2.20 | 4.04% | 2.40 | 4.48% | 2.60 | 4.53% |
TABLE IV
MEAN OF ABSOLUTE AND RELATIVE ANTHROPOMETRIC MEASUREMENTS ERRORS ON FIVE FEMALE REAL-WORLD DATA IN DIFFERENT DENSITY (UNIT: mm)
| Measurements | No sampling | 2048 | 1024 | 512 |
| $E_{AE}$ | $E_{RE}$ | $E_{AE}$ | $E_{RE}$ | $E_{AE}$ | $E_{RE}$ | $E_{AE}$ | $E_{RE}$ |
| 1-Hand length | 2.00 | 1.09% | 2.00 | 1.10% | 2.60 | 1.41% | 3.20 | 1.73% |
| 2-Palm length | 2.20 | 2.13% | 2.60 | 2.55% | 3.20 | 3.14% | 3.50 | 3.53% |
| 3-Palm breadth | 1.60 | 1.97% | 1.00 | 1.25% | 1.40 | 1.75% | 1.80 | 2.25% |
| 4-Thumb length | 1.80 | 2.96% | 2.20 | 3.66% | 2.00 | 3.33% | 1.80 | 3.00% |
| 5-Index length | 0.80 | 1.10% | 1.20 | 1.65% | 1.60 | 2.20% | 2.00 | 2.76% |
| 6-Middle length | 3.20 | 3.99% | 3.20 | 3.99% | 3.60 | 4.49% | 3.90 | 4.96% |
| 7-Ring length | 2.40 | 3.29% | 2.80 | 3.84% | 3.00 | 4.15% | 3.00 | 4.11% |
| 8-Little length | 2.80 | 4.74% | 3.00 | 5.06% | 3.20 | 5.43% | 3.60 | 6.13% |
| 9-Palm thickness | 1.20 | 4.99% | 1.40 | 5.76% | 2.00 | 8.08% | 2.80 | 11.17% |
| 10-Thumb girth | 2.20 | 3.41% | 2.00 | 3.08% | 2.40 | 3.72% | 3.20 | 4.97% |
| 11-Index girth | 2.60 | 4.46% | 2.60 | 4.85% | 2.70 | 4.95% | 3.00 | 5.19% |
| 12-Middle girth | 2.40 | 4.06% | 2.40 | 4.06% | 2.00 | 3.43% | 2.20 | 3.83% |
| 13-Ring girth | 1.40 | 2.53% | 1.40 | 2.53% | 1.60 | 2.95% | 1.40 | 2.59% |
| 14-Little girth | 2.80 | 6.37% | 3.00 | 6.79% | 3.40 | 7.64% | 3.40 | 7.67% |
此外，我们还在另外五名女性的真实数据集上开展了实验，将该数据集下采样为三种不同的点云密度：2048、1024和512。目的是探究点云密度对我们方法性能的影响。误差结果如表IV所示，可以看出不同密度下的误差非常接近。因此，我们的方法能够处理稀疏或密集的数据，且不会影响其提取有价值信息的能力。总之，我们的方法能够很好地适应噪声和数据不规则现象普遍存在的真实场景。
### D. 消融研究
我们采用平均误差$\mu$、平均标准差$\sigma$以及CD误差的最大值max来评估关键组件的性能。具体细节如下所述。
---
Fig. 10. Visual comparison of hand shape reconstruction error with state-of-the-art methods on real-world data. From top to bottom: the results of three HandAR [^13], $S^{2}$-HAND [^12], HandOccNet [^36], SnowflakeNet [^50], L2H [^51], MobRecon [^37], and our results.
TABLE V
COMPARISONS OF RECONSTRUCTION ERRORS WITH DIFFERENT NUMBER OF DEPTH IMAGES (UNIT: mm)
| single depth image | two depth images | four depth images |
| $\mu$ | 0.443 | 0.430 | 0.401 |
| $\sigma$ | 0.153 | 0.146 | 0.099 |
| max | 1.106 | 1.034 | 0.598 |
1) 多视角输入的有效性：在本节中，我们探讨了基于所提方法的不同输入的性能。PatientHandNet以四张深度图像（即手部的掌侧、尺侧、背侧和桡侧视图）作为输入，因为这是获取手部完整几何形状所需的最小数据量。我们分别基于单张深度图像（背侧视图）、两张深度图像（背侧视图和桡侧视图）以及四张深度图像重新训练网络。表V对比了它们的重建误差。可以看出，两张深度图像的结果优于单张深度图像的结果，而四张深度图像的结果最佳。
2) 预对齐输入的有效性：我们的研究发现，如果原始输入经过预对齐处理，重建精度会有所提升。为验证这一点，我们比较了采用预对齐与未采用预对齐时该方法的重建精度。如表VI所示，可以明显看出：
TABLE VI
COMPARISONS OF RECONSTRUCTION ERRORS WITHOUT AND WITH PRE-ALIGNING RAW INPUTS (UNIT: mm)
| Wihtout pre-alignment | With pre-alignment |
| $\mu$ | 0.468 | 0.401 |
| $\sigma$ | 0.158 | 0.099 |
| max | 1.134 | 0.598 |
原始输入的预对齐能够显著减少重建误差。借助所提出的VVT模块，部分点云输入会被对齐，从而获取更精确的完整手部全局形状信息，同时还能体现输入之间的空间关系。
3) 多尺度与多视角特征学习的有效性：我们的模型中提出了MMFA模块，用于从多视角输入中学习分层几何与空间特征，以实现手部形状重建。为验证其有效性，我们设计了两种方法变体：分别采用单个CPN和多尺度CPN来捕捉几何与空间上下文信息。采用单个CPN的变体会将所有视角的输入送入同一个CPN以学习特征；多尺度CPN的相关描述见第III-D节。实验结果记录在表VII中，可以看出在所有评价指标上多尺度CPN的表现都优于单个CPN。这表明多尺度CPN能够比单个CPN学习到
---
TABLE VII
COMPARISONS OF RECONSTRUCTION ERRORS WITH A SINGLE CPN AND MULTISCALE CPNS FEATURE LEARNING METHODS (UNIT: mm)
| Without MMFA | With MMFA |
| $\mu$ | 0.525 | 0.401 |
| $\sigma$ | 0.179 | 0.099 |
| max | 1.343 | 0.598 |
TABLE VIII
COMPARISONS OF RECONSTRUCTION ERRORS WITH AND WITHOUT POINT-BASED REFINEMENT (UNIT: mm)
| Without refinement | With refinement |
| $\mu$ | 0.440 | 0.401 |
| $\sigma$ | 0.143 | 0.099 |
| max | 1.113 | 0.598 |
来自不同维度、不同视角数量的更鲁棒的几何与空间特征。
4) 基于点的细化策略的有效性：我们还提出了一种基于点的细化策略，以获得精确重建的手部形状。表VIII对比了有无细化步骤时的重建误差。可以看出，所提出的基于点的细化策略能显著提升结果的精度。这主要是因为细化过程中的ST机制会聚焦于每个点与其邻点之间的局部空间上下文，进而进一步优化每个点的位置。
## 五、结论
在这项工作中，我们提出了一种新型的基于深度学习的框架PatientHandNet，可利用普通深度相机拍摄的稀疏多视角深度图像重建张开手掌的手部形状。与现有方法相比，我们的方法具有以下优势：1）仅需用一台深度相机拍摄四张深度图像作为输入；2）数据采集过程中受试者可自由改变手部姿势；3）我们能输出呈标准张开手掌姿态的高保真手部网格模型。这使得针对手部功能受损患者的手部生物特征提取既准确又便捷。我们还为训练所提模型合成了一个大规模数据集，并构建了一个全新的真实世界数据集，其中包含18名受试者的多视角手部局部扫描数据及其对应的真实手部生物特征。基于合成数据与真实扫描数据的大量实验结果验证了该方法的有效性，表明其性能优于现有最先进的方法。
## 参考文献
[^1]: C.-C. Kuo, H.-Y. Kung, H.-C. Wu, and M.-J. Wang, “Developing a hand sizing system for a hand exoskeleton device based on the Kansei engineering method,” J. Ambient Intell. Humanized Comput., vol. 2020, pp. 1–13, Aug. 2020.
[^2]: H. K. Yap et al., “A fully fabric-based bidirectional soft robotic glove for assistance and rehabilitation of hand impaired patients,” IEEE Robot. Autom. Lett., vol. 2, no. 3, pp. 1383–1390, Jul. 2017.
[^3]: N. P. Oess, J. Wanek, and A. Curt, “Design and evaluation of a low-cost instrumented glove for hand function assessment,” J. Neuroeng. Rehabil., vol. 9, no. 2, pp. 1–11, Jan. 2012.
[^4]: N. E. Krausz, R. A. L. Rorrer, and R. F. F. Weir, “Design and fabrication of a six degree-of-freedom open source hand,” IEEE Trans. Neural Syst. Rehabil. Eng., vol. 24, no. 5, pp. 562–572, May 2016.
[^5]: Z. Xu and E. Todorov, “Design of a highly biomimetic anthropomorphic robotic hand towards artificial limb regeneration,” in Proc. IEEE Int. Conf. Robot. Autom. (ICRA), May 2016, pp. 3485–3492.
[^6]: D. Magu, A. Aggarwal, P. Behera, and A. Khurana, “Use of finger length ratio as a marker for knee osteoarthritis: A case-control study of 2,456 patients,” medRxiv, 2020.
[^7]: S. M. Hussain et al., “Association between index-to-ring finger length ratio and risk of severe knee and hip osteoarthritis requiring total joint replacement,” Rheumatology, vol. 53, no. 7, pp. 1200–1207, Jul. 2014.
[^8]: X. Li, R. Wen, Z. Shen, Z. Wang, K. D. K. Luk, and Y. Hu, "A wearable detector for simultaneous finger joint motion measurement," IEEE Trans. Biomed. Circuits Syst., vol. 12, no. 3, pp. 644–654, Jun. 2018.
[^9]: S. Tang et al., “A model-based approach to investigate the effect of a long bone fracture on ultrasound strain elastography,” IEEE Trans. Med. Imag., vol. 37, no. 12, pp. 2704–2717, Dec. 2018.
[^10]: E. B. Brokaw, I. Black, R. J. Holley, and P. S. Lum, “Hand spring operated movement enhancer (HandSOME): A portable, passive hand exoskeleton for stroke rehabilitation,” IEEE Trans. Neural Syst. Rehabil. Eng., vol. 19, no. 4, pp. 391–399, Aug. 2011.
[^11]: S. H. Nasir and O. Troynikov, “Influence of hand movement on skin deformation: A therapeutic glove design perspective,” Appl. Ergonom., vol. 60, pp. 154–162, Apr. 2017.
[^12]: Y. Chen et al., “Model-based 3D hand reconstruction via self-supervised learning,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2021, pp. 10446–10455.
[^13]: X. Tang, T. Wang, and C.-W. Fu, “Towards accurate alignment in real-time 3D hand-mesh reconstruction,” in Proc. IEEE/CVF Int. Conf. Comput. Vis. (ICCV), Oct. 2021, pp. 11678–11687.
[^14]: P. Chen et al., "I2UV-HandNet: Image-to-UV prediction network for accurate and high-fidelity 3D hand mesh modeling," in Proc. IEEE/CVF Int. Conf. Comput. Vis. (ICCV), Oct. 2021, pp. 12909–12918.
[^15]: P. Volonghi, G. Baronio, and A. Signoroni, "3D scanning and geometry processing techniques for customised hand orthotics: An experimental assessment," Virtual Phys. Prototyping, vol. 13, no. 2, pp. 105–116, Apr. 2018.
[^16]: D. Koutny, D. Palousek, T. Koutecky, A. Zatocilova, J. Rosicky, and M. Janda, "3D digitalization of the human body for use in orthotics and prosthetics," Int. J. Biomed. Biol. Eng., vol. 6, no. 12, pp. 690–697, 2012.
[^17]: M. Carfagni et al., “Fast and low cost acquisition and reconstruction system for human hand-wrist-arm anatomy,” Proc. Manuf., vol. 11, pp. 1600–1608, Jan. 2017.
[^18]: B. Ceulemans, S.-P. Lu, G. Lafruit, and A. Munteanu, “Robust multiview synthesis for wide-baseline camera arrays,” IEEE Trans. Multimedia, vol. 20, no. 9, pp. 2235–2248, Sep. 2018.
[^19]: A. Yu, K. L. Yick, S. P. Ng, and J. Yip, "2D and 3D anatomical analyses of hand dimensions for custom-made gloves," Appl. Ergonom., vol. 44, no. 3, pp. 381–392, May 2013.
[^20]: X. Deng et al., “Weakly supervised learning for single depth-based hand shape recovery,” IEEE Trans. Image Process., vol. 30, pp. 532–545, 2021.
[^21]: P. Hu, N. N. Kaashki, V. Dadarlat, and A. Munteanu, “Learning to estimate the body shape under clothing from a single 3-D scan,” IEEE Trans. Ind. Informat., vol. 17, no. 6, pp. 3793–3802, Jun. 2021.
[^22]: R. Zhao, X. Dai, P. Hu, and A. Munteanu, “PoseNormNet: Identity-preserved posture normalization of 3D body scans in arbitrary postures,” IEEE Trans. Ind. Informat., early access, Feb. 16, 2023, doi:10.1109/TII.2023.3245682.
[^23]: S. E. Ovur, H. Su, W. Qi, E. De Momi, and G. Ferrigno, “Novel adaptive sensor fusion methodology for hand pose estimation with multileap motion,” IEEE Trans. Instrum. Meas., vol. 70, pp. 1–8, 2021.
[^24]: F. Mueller et al., “GANerated hands for real-time 3D hand tracking from monocular RGB,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., Jun. 2018, pp. 49–59.
[^25]: A. El-Sawah, N. D. Georganas, and E. M. Petriu, “A prototype for 3-D hand tracking and posture estimation,” IEEE Trans. Instrum. Meas., vol. 57, no. 8, pp. 1627–1636, Aug. 2008.
## [^26]: Y. Cai, L. Ge, J. Cai, N. M. Thalmann, and J. Yuan, "3D hand pose estimation using synthetic data and weakly labeled RGB images," IEEE Trans. Pattern Anal. Mach. Intell., vol. 43, no. 11, pp. 3739–3753, Nov. 2021
---
[^27]: L. Ge, H. Liang, J. Yuan, and D. Thalmann, “Robust 3D hand pose estimation from single depth images using multi-view CNNs,” IEEE Trans. Image Process., vol. 27, no. 9, pp. 4422–4436, Sep. 2018.
[^28]: B. Wang et al., “Gaze tracking 3-D reconstruction of object with large-scale motion,” IEEE Trans. Instrum. Meas., vol. 72, pp. 1–12, 2023.
[^29]: L. Ge, H. Liang, J. Yuan, and D. Thalmann, “Real-time 3D hand pose estimation with 3D convolutional neural networks,” IEEE Trans. Pattern Anal. Mach. Intell., vol. 41, no. 4, pp. 956–970, Apr. 2019.
[^30]: F. Albiol, A. Corbi, and A. Albiol, “Geometrical calibration of X-ray imaging with RGB cameras for 3D reconstruction,” IEEE Trans. Med. Imag., vol. 35, no. 8, pp. 1952–1961, Aug. 2016.
[^31]: J. Malik et al., “DeepHPS: End-to-end estimation of 3D hand pose and shape by learning from synthetic depth,” in Proc. Int. Conf. 3D Vis. (3DV), Sep. 2018, pp. 110–119.
[^32]: D. Kong et al., “Identity-aware hand mesh estimation and personalization from RGB images,” in Computer Vision—ECCV 2022. Cham, Switzerland: Springer, 2022, pp. 536–553.
[^33]: Z. Yu et al., “Overcoming the trade-off between accuracy and plausibility in 3D hand shape reconstruction,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., Jun. 2023, pp. 544–553.
[^34]: T. Luan et al., “High fidelity 3D hand shape reconstruction via scalable graph frequency decomposition,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., Jul. 2023, pp. 16795–16804.
[^35]: J. Romero, D. Tzionas, and M. J. Black, “Embodied hands: Modeling and capturing hands and bodies together,” 2022, arXiv:2201.02610.
[^36]: J. Park, Y. Oh, G. Moon, H. Choi, and K. M. Lee, “HandOccNet: Occlusion-robust 3D hand mesh estimation network,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2022, pp. 1486–1495.
[^37]: X. Chen et al., “MobRecon: Mobile-friendly hand mesh reconstruction from monocular image,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2022, pp. 20512–20522.
[^38]: J. Malik et al., “HandVoxNet++: 3D hand shape and pose estimation using voxel-based neural networks,” IEEE Trans. Pattern Anal. Mach. Intell., vol. 44, no. 12, pp. 8962–8974, Dec. 2022.
[^39]: C. Liu, D. Kong, S. Wang, J. Li, and B. Yin, “DLGAN: Depth-preserving latent generative adversarial network for 3D reconstruction,” IEEE Trans. Multimedia, vol. 23, pp. 2843–2856, 2021.
[^40]: R. Q. Charles, H. Su, M. Kaichun, and L. J. Guibas, “PointNet: Deep learning on point sets for 3D classification and segmentation,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit. (CVPR), Jul. 2017, pp. 77–85.
[^41]: W. Yuan, T. Khot, D. Held, C. Mertz, and M. Hebert, “PCN: Point completion network,” in Proc. Int. Conf. 3D Vis. (3DV), Sep. 2018, pp. 728–737.
[^42]: P. J. Besl and N. D. McKay, “Method for registration of 3-D shapes,” Proc. SPIE, vol. 1611, pp. 586–606, Apr. 1992.
[^43]: P. Hu and A. Munteanu, “Method for registration of 3D shapes without overlap for known 3D priors,” Electron. Lett., vol. 57, no. 9, pp. 357–359, Apr. 2021.
[^44]: Y. Rong, T. Shiratori, and H. Joo, "FrankMocap: A monocular 3D whole-body pose estimation system via regression and integration," in Proc. IEEE/CVF Int. Conf. Comput. Vis. Workshops (ICCVW), Oct. 2021, pp. 1749–1759.
[^45]: G. Pavlakos et al., “Expressive body capture: 3D hands, face, and body from a single image,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2019, pp. 10967–10977.
[^46]: G. Varol et al., “Learning from synthetic humans,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit. (CVPR), Jul. 2017, pp. 4627–4635.
[^47]: M. Gschwandtner, R. Kwitt, A. Uhl, and W. Pree, “BlenSor: Blender sensor simulation toolbox,” in Proc. Int. Symp. Vis. Comput. Cham, Switzerland: Springer, 2011, pp. 199–208.
[^48]: Y. Yang, H. Zhou, Y. Song, and P. Vink, “Identify dominant dimensions of 3D hand shapes using statistical shape model and deep neural network,” Appl. Ergonom., vol. 96, Oct. 2021, Art. no. 103462.
[^49]: F. Arifi, M. S. AmetiV, and Z. Metaj, “Stature and its estimation utilizing length of hand measurements of both gender adolescents from western region of Kosovo,” Sports Injr Med, vol. 5, p. 171, Jan. 2021.
[^50]: P. Xiang et al., “SnowflakeNet: Point cloud completion by snowflake point deconvolution with skip-transformer,” in Proc. IEEE/CVF Int. Conf. Comput. Vis. (ICCV), Oct. 2021, pp. 5479–5489.
[^51]: P. Hu, R. Zhao, X. Dai, and A. Munteanu, “Predicting high-fidelity human body models from impaired point clouds,” Signal Process., vol. 192, Mar. 2022, Art. no. 108375.
[^52]: H. Fan, H. Su, and L. Guibas, “A point set generation network for 3D object reconstruction from a single image,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit. (CVPR), Jul. 2017, pp. 2463–2471.
戴欣欣（IEEE学生会员）于2019年在中国广州工业大学获得工程硕士学位。她目前正于比利时布鲁塞尔自由大学电子与信息系攻读博士学位。
她目前的研究方向包括点云处理、三维手部重建、生物特征识别以及人员身份识别。
赵冉于2018年在中国上海华东师范大学获得数学硕士学位，并于2021年在比利时布鲁塞尔自由大学（VUB）获得应用计算机科学工程硕士学位。她目前正在VUB电子与信息系攻读博士学位。
她的研究方向包括点云处理、三维手部扫描以及生物特征识别。
胡鹏鹏曾是比利时布鲁塞尔自由大学（VUB）电子与信息系的高级研究员。2016年，他作为访问学者在英国爱丁堡大学信息学院进修；2017年，他作为博士后研究员在英国诺森比亚大学计算机与信息科学系工作。他现为英国考文垂大学计算科学与数学建模中心的助理教授。自2018年起，他一直在VUB任职。他当前的研究兴趣涵盖生物特征识别、几何深度学习、三维人体重建、点云处理以及测量技术。
胡博士是《Measurement》和《Measurement: Sensors》期刊的早期职业顾问委员会成员，同时也是《Sensors》（MDPI）和《Designs》（MDPI）期刊的专题顾问小组成员。他是《Sensors》（MDPI）的客座编辑，曾担任BMVC 2018的技术支持主席，也是SKIMA 2017、SKIMA 2018和SKIMA 2019的程序委员会委员。他荣获2019年Emerald Literati Award的优秀论文奖。
阿德里安·蒙泰努于1994年在罗马尼亚布加勒斯特理工大学获得电子与电信理学硕士学位，1996年在希腊帕特拉斯大学获得生物医学工程理学硕士学位，2003年在比利时布鲁塞尔自由大学获得应用科学博士学位。
2004年至2010年，他作为博士后研究员在比利时弗拉芒科学研究基金会（FWO）工作；自2007年起，他便在VUB担任教授。他目前是布鲁塞尔自由大学电子与信息系的教授。他参与了400多篇出版物的撰写，并拥有七项专利。
蒙泰努博士因博士阶段的研究成果荣获2004年BARCO-FWO奖，还与他人共同获得Elsevier颁发的2007年高被引论文奖。他曾担任IEEE TRANSACTIONS ON MULTIMEDIA的副编辑，现任IEEE TRANSACTIONS ON IMAGE PROCESSING的副编辑。