# 用于3D手部姿态估计的局部与全局点云重建 于子薇 $^{1}$ 杨琳琳 $^{1,2}$ 陈世成 $^{1}$ 姚安佳 $^{1}$ $^{1}$ 新加坡国立大学，新加坡 $^{2}$波恩大学， 德国 ## 摘要 本文致力于从单张RGB图像中重建人体手部的3D点云并估计其3D姿态。为此，我们提出了一种利用3D手部模板进行局部与全局点云重建的新颖流程，同时学习用于姿态估计的潜在表示。为了验证我们的方法，我们引入了一个新的多视角手部姿态数据集，以获取现实世界中完整的手部3D点云。在我们新提出的数据集以及四个公开基准测试上的实验均证明了该模型的优势。我们的方法在重建外观逼真的完整3D手部点云的同时，在3D姿态估计方面也优于竞争对手。 ## 1 引言 人体手部的3D形状与姿态对于增强现实和虚拟现实应用至关重要。为了满足这种人机交互需求，计算机视觉领域专门有一门学科致力于估计手部的3D形状和姿态。由于手部具有极高的关节活动度和自遮挡特性，要实现精确的估计极具挑战性。早期的方法试图结合不同视角的表征 [^0] [^8] [^8] [^10]，或将2.5D深度图转换为体素 [^2] [^5]、点云 [^21] 或网格 [^22] 等3D表征。由于3D体素模型的计算成本高于网格和点云模型，因此后者更适用于估计手部的3D形状和姿态。 当前基于RGB的方法 [^1] [^19] [^16] 倾向于通过将视觉特征映射到参数化模型的参数上来估计手部形状，例如MANO模型 [^29]。然而，MANO网格本质上与真实手部表面存在差异，会导致手部形状过于平滑而不自然。非参数化网格技术 [^11] [^12] 能够生成更逼真的形状，并能体现形状表面的细节，但学习这类模型需要大量的标注网格数据，而这类数据的收集并非易事。 --- 我们认为，3D手部点云可以作为一种非参数化的替代方案来取代网格。与网格不同，点云是无序的，不需要预先定义用于描述表面的拓扑结构。点云很容易从多种来源获取，例如深度相机、激光扫描仪以及其他3D表示形式。此外，3D手部点云的密度也易于调节；根据分辨率需求，我们可以减少或增加手表面上的点数。利用点云进行3D手部姿态和形状估计的研究还十分有限 [^1] [^2] [^3] [^4]。与我们研究最为相关的工作是 [^57]，该研究通过RGB图像等多种模态来估计点云。不过他们估计出的点云仅包含朝向相机的一面。正如此前在3D人体姿态估计中所展示的那样，完整的点云能够提供更全面的几何信息 [^1] [^39] [^43]。 本文提出了一种独特的点云重建技术，旨在从RGB图像中确定手部的完整形状和姿态。我们提出了一种局部与全局相结合的表达方式，以学习手部的详细3D潜在表征。为了重建精确且高分辨率的手部点云，我们从FoldingNet [^63] 和AtlasNet [^1] 等点云架构中汲取灵感。不过我们的创新之处在于，专门为3D手部恢复设计了一种新的模板初始化方法。该模板具有灵活性，能让我们以更利于重建3D手部的配置来预先分布3D点。此外，我们还提出了一种语义分组策略，用于重建对应各个手指的局部和全局点云。 现有的基于RGB的3D手部姿态数据集并不包含对应的（完整的）3D点云数据。因此，我们从MANO网格模型的表面采样，为现有数据集生成点云。此外，我们引入了一个全新的多视角RGB-D数据集，并通过从深度图像中获取的真实点云来验证我们的方法在现实数据中的有效性。 我们的贡献总结如下： - 我们提出了一种针对手部3D点云重建的独特框架，并采用了定制化的3D手部模板。据我们所知，我们的系统是首个能够重建完整3D手部点云而非仅面向相机一面的系统。 - 我们提出了一种有效的局部与全局点云重建方法，该方法比单一的全局模型能捕捉到更多细节。 - 我们引入了一个包含3D关节标注、拟合的MANO参数以及基于深度图的3D点云的多视角RGB-D手部姿态数据集。 在四个公开基准测试以及我们新提出的数据集上的评估结果表明，我们的框架不仅能超越现有的3D手部姿态估计方法，还能重建出高质量的点云。 ## 2 相关工作 深度学习中的点云重建方法主要通过分析内在的3D结构来学习无序的表征。基于树模型的算法[^8] [^13]通过k-d树来表示点云。其他研究则提出了创新的网络设计，包括PointNet [^23]、PointCNN [^22]以及基于RNN的模型[^40]。迄今为止，这些方法[^18] [^28] [^68] [^40]大多专注于从3D激光雷达图像中重建点云。相比之下，我们的目标是从RGB图像中重建点云。 --- 3D手部姿态估计通常以深度图或RGB图像作为输入。2.5D深度图被输入到深度神经网络[^7]中，以生成热图，随后再将其映射到3D手部关节位置[^8] [^9] [^10] [^11] [^12] [^13] [^14] [^15]。近期的研究试图利用RGB图像结合其他模态（如深度图或掩码）作为弱标签[^8] [^11]，或作为中间监督形式[^15] [^16] [^17] [^18]来估计手部姿态。还有一些研究[^8] [^11] [^12]尝试将深度图转换为面向摄像机的不完整点云，以此辅助预测3D姿态。据我们所知，我们是首个将点云重建与基于单目RGB图像的3D姿态估计相结合的研究团队。 3D手部形状估计通常以网格形式呈现，其难度往往高于姿态估计，因为需要同时预测网格拓扑和顶点位置。大多数方法[^76] [^77] [^78] [^79]通过利用参数化的MANO模型[^79]来重建网格。采用MANO模型使得这些研究能够直接回归形状（及姿态）参数，而这些参数所处的空间更易于处理且维度更低。对于RGB输入，常规做法[^13] [^14]是首先估计2D关节位置，然后迭代回归MANO的姿态和形状参数。非参数化方法则利用全卷积网络[^82]或图卷积网络[^81]来直接回归网格顶点。与上述方法不同，我们的目标是恢复完整的点云，因为我们认为点云是一种比网格更具灵活性的3D表征。 ## 3 方法论 ### 3.1 RGB编码器与3D姿态解码器 我们的框架包含RGB图像编码器、点云解码器和3D姿态解码器（见图1）。编码器将图像转换为潜在表征。我们的核心贡献在于学习这种潜在表征，使其具备丰富性和表达力，从而能够精准进行3D姿态估计（第3.1节）和完整的3D点云重建（第3.2节）。 图像编码器将单张$256 \times 256$ RGB图像$\mathbf{x}$编码为潜变量表示$\mathbf{z} \in \mathbb{R}^{512}$。姿态解码器会将$\mathbf{z}$转换为手部姿态$\mathbf{J} \in \mathbb{R}^{3 \times 21}$，也就是21个手部关节的3D坐标。我们采用了与其他编解码框架相同的骨干模型[^19] [^66] [^67]。对于编码器，我们对ResNet-18骨干网络进行微调，并将最后一层的输出输入全连接层，以此作为潜变量表示$\mathbf{z}$。对于3D姿态解码器，我们使用一个三层全连接多层感知机（MLP），每层包含128个隐藏单元。在训练姿态解码器时，我们采用L2损失函数，即$\mathcal{L}_{\text{Pose}} = \|\mathbf{J}_{\text{pred}} - \mathbf{J}_{\text{gt}}\|_2$，其中$\mathbf{J}_{\text{gt}}$和$\mathbf{J}_{\text{pred}}$分别表示真实值以及估计出的手部姿态。 ### 3.2 3D点云重建 为了从$\mathcal{S} \in \mathcal{R}^{N \times 3}$重建3D手部点云$\mathbf{z}$，我们采用了FoldingNet的解码架构[^33]。FoldingNet的解码器是一系列MLP，它们以编码后的潜变量表示为条件，将一组模板点变形或“折叠”为最终的3D位置。假设我们有一张RGB图像以及对应的真实点云$\mathcal{S}$，那么可以通过Chamfer距离（CD）和Earth Mover距离（EMD）来学习这对编解码器。这两种距离都是在$\mathcal{S}$与估计出的点云集$\hat{\mathcal{S}} \left( |\mathcal{S}| = |\hat{\mathcal{S}} | \right)$之间计算的。如果$s \in \mathcal{R}^{3 \times 1}$和$\hat{s} \in \mathcal{R}^{3 \times 1}$分别为真实值和预测的3D点， --- ![Image](images/fba9143f0ef5e60c98c7d788b7124a4c389963b7c4ca8dcd6724b1e179e69499.jpg)
(a). RGB Encoder
(b). Point Cloud Decoder
(c). 3D Pose Decoder
(d). 2D Grid Initialization
(e). 3D Hand Initialization
(f). Local 3D Hand Initialization
Figure 1: Overview of our point cloud reconstruction and pose estimation pipeline. Our proposed has an RGB image encoder(a), a point cloud decoder (b) and a 3D pose decoder (c). We experiment with three template initializations in (d) to (f) and observe that the most effective is to use local 3D initializations that represent the various semantic components of the hand (f).
那么Chamfer距离$d_{CD}$的定义如下： $$ d_{C D}(\mathcal{S},\hat{\mathcal{S}})=\frac{1}{|S|}\sum_{s\in S}\operatorname*{m i n}_{\hat{s}\in\hat{S}}||s-\hat{s}||_{2}^{2}+\frac{1}{|\hat{S}|}\sum_{\hat{s}\in\hat{S}}\operatorname*{m i n}_{s\in S}||s-\hat{s}||_{2}^{2}, $$ 其中第一项表示所有预测点到最近的真实点之间的平均距离，第二项表示所有真实点到最近预测点之间的平均距离。Earth-Mover距离$d_{\text{EMD}}$则考虑了点对点匹配问题。设$\phi : \hat{S} \to S$为一个双射关系，也就是说对于所有$s \in S$，都存在唯一与之匹配的点$s \in \hat{S}$。这种最优双射关系是唯一的，且在上述点集上保持不变。 $$ \begin{array}{r}{d_{\mathrm{E M D}}(\hat{\mathcal{S}},\mathcal{S})=\operatorname*{m i n}_{\phi:\hat{\mathcal{S}}\to\mathcal{S}}\displaystyle\sum_{s\in\hat{\mathcal{S}}}||s-\phi(s)||_{2}.}\end{array} $$ 初始化模板：原始的FoldingNet在2D网格上初始化模板点集（见图1(d)）。随后解码器会将这些点“折叠”成3D表面结构。使用2D网格非常适合类别无关或3D形状无关的重建任务，因为它无需做任何先验假设。不过我们认为，对于3D手部形状估计而言，这种方式并不理想且效率较低。更直接的做法是让点集初始化后符合某种规范的3D手部形态。因此，我们提出了一种3D手部模板初始化方法（见图1(e)）。通过将初始空间分布设定为贴合手部形态，我们简化了解码器的学习过程，因为这样减少了所需的折叠程度。不同初始化方式的对比可参见补充材料第3节。 局部重建：我们进一步对FoldingNet解码器进行了修改，以实现局部重建。我们尤其关注手指部分的高保真重建，因为 --- 它们包含了大量的姿态信息。因此，为每一根手指提供独立的表示方式是很直观的。为此，我们为手掌和每根手指分别分配一个局部解码器（见图1(f)），并对这些局部点云集应用倒角距离和地球移动距离。我们利用有序的MANO顶点将点云划分为各个组成部分及其对应的真实值（见第3.3节）。为确保各组成部分能够拼接在一起，我们还会在整个点集上全局应用这两种距离，从而得到公式3中的损失值。 与其他点云重建方法类似[^6] [^20] [^22] [^23]，我们利用上述两种距离来学习点云重建。具体来说，我们既以全局方式将距离应用于整只手的点云集，即$d^G$；又以局部方式将其应用于对应局部组成部分的点子集，即$d^L$。最终的点云损失$\mathcal{L}_{\mathrm{pc}}$就是这些距离的总和，即 $$ \begin{array}{r}{\mathcal{L}_{\mathrm{p c}}=\displaystyle\sum_{i}\left(d_{C D}^{L_{i}}+d_{E M D}^{L_{i}}\right)+d_{C D}^{G}+d_{E M D}^{G},}\end{array} $$ 其中i用于索引局部组成部分。虽然我们可以在公式3的各项中引入权重超参数，但出于简便考虑，我们仍让它们具有相同的权重，这与[^67]中的做法一致。 ### 3.3 生成真实值点云 现有的基于RGB的手部姿态基准测试提供了真实的3D姿态数据，但没有点云信息。作为替代方案，我们利用MANO[^79]模型，从拟合的网格表面采样以获得一组3D点。具体而言，MANO用参数$\mathcal{M} \in R^{N \times 3}$对三角网格$\{\vec{\beta}, \vec{\theta}\}$进行参数化，其中$\vec{\beta} \in R^{10}$表示形状参数，$\vec{\theta} \in R^{K \times 3}$表示姿态参数。与[^79]类似，我们通过最小化以下L2目标函数$\mathbf{J}_{\text{MANO}} \in R^{21 \times 3}$，使MANO模型$\mathbf{J}_{\text{gt}} \in R^{21 \times 3}$拟合真实值3D姿态$\min_{\vec{\beta}, \vec{\theta}} \|\mathbf{J}_{\text{gt}} - \mathbf{J}_{\text{MANO}}\|_2$。基于拟合后的网格顶点，我们进行上采样后再随机下采样，从而获得分布在手部表面的一组3D点。 局部组成部分的分配：局部重建需要将每个模板点分配到固定的局部组成部分，也就是说，应使用真实值中的哪些点来评估每次局部重建？对于由MANO生成的点云，我们手动将778个顶点划分为六个语义部分，分别对应手掌、拇指和四根手指（见图2(a)）。然而，真实的点云是无序的。为了分配点，我们首先估计3D姿态和MANO参数。然后应用简单的k近邻分类器（k=3），将每个点匹配到对应的MANO顶点，并赋予其与MANO顶点划分相同的组成部分。必要时我们也可以重新采样（见图2(b)和(c)）。 ![Image](images/07c7e89d8842c14655c92db7475d97ae5b4a6b783d684a90de5327dd96948c3b.jpg)
(a) MANO-generated
![Image](images/488a61f7e0f11b210f31bc8d7a99aa97402dd4522a3b61d57edc4c74af28b0fe.jpg)
(b) Depth map-based
![Image](images/4e2ed89d17e2d4b1bd1a7670bb95be904fa0f1d3896d74821e3c8839e5333ec1.jpg)
(c) Depth downsampled
Figure 2: Segmentation Transfer from the MANO vertices to real depth point clouds.
---
STBRHDFreiHandYouTube3DMVHand
Modalityreal rgbdsyn. rgbdreal rgbreal rgbreal rgbd
Resolution$640 \times 480$$320 \times 320$$240 \times 240$mixed$640 \times 480$
Handssingletwosinglesinglesingle
Subjects12032-4
Viewpoints21114
MANO paramsxx✓✓✓
Frames36K44K36K51K83K
表1：所提出的MVHand数据集与其他RGB基准测试的比较。 ### 3.4 MVHand数据集 基于MANO生成点云的方法是将点云数据添加到现有RGB数据集中的简单途径。不过，它们的表征能力并不完整，因为MANO网格只是真实手部表面的平滑近似。来自多视角深度图的真实世界点云既密集又带有噪声；二者之间的差异可在图2中看到。为了验证我们的框架在真实世界点云上同样适用，我们需要一个多视角RGB-D数据集，即以RGB图像作为输入，利用多视角深度来构建真实的点云。迄今为止唯一符合此要求的数据集就是NYU Hand Pose Dataset [^3]。然而，该数据集并未提供相机外参，因此无法将各视角合成完整的点云。此外，这些记录是由Kinect V1传感器采集的，其深度图噪声很大。 为填补这一空白，我们录制了一套新的多视角RGB-D数据集，将其命名为MVHand。与BigHand [L]和Ho3D [L]数据集类似，我们使用Intel RealSense D415相机来录制数据集。我们使用了四台相机，每台相机距离手部的范围约为50厘米。这一距离处于制造商推荐的45厘米至2米范围内，该范围内的深度误差小于2%¹。在此距离下，我们可以观察到在一个视角中手动标注的2D关键点能够准确投影到其他视角中（见图3）。 为了获取点云，我们首先通过阈值分割在深度图中分离出手部区域，然后将四个视角的图像投影成完整的手部模型。最终的完整3D点云真值是通过对这些深度图进行采样得到的。具体来说，我们会通过过滤去除所有孤立的离群点。此外，我们对不同视角中重叠区域的点进行降采样，以确保点云中的点分布均匀。图4展示了我们数据集中的一些示例点云；这些点云能够很好地还原原始手部形状，且与拟合的MANO网格顶点相近。点云到网格顶点的平均倒角距离为7.88毫米，标准差为0.72毫米。更多细节请参阅补充材料。 3D手部姿态的标注采用了与[^62]、[^47]相同的21关节手部模型。我们采用半自动方法，结合人工标注（约占帧数的7%）与[^64]的自监督方法（详情见补充材料1.2）。经评估，自动标注的帧与人工标注样本相比，关节平均误差为4.69毫米，这一数值与Megahand [^12]的人工标注误差相近。 表1对比了MVHand与其他手部基准数据集的统计信息。MVHand提供了四个视角的RGB图和深度图、3D关节位置、拟合的MANO参数、手部掩码，以及所有相机内参和外参。图3展示了示例帧；更多可视化结果可在补充材料中查看。 --- ![Image](images/a71ce1334c970b3968973eff8c7170086b363b7b271fc7ae6e1255a820bbc18b.jpg)
Figure 3: Left: Different distances for annotation settings. Top row shows that recording with a larger distance between hand and camera. Bottom row shows that distance is smaller than 50 cm. Our manual annotations are based on the first column image and project into other three views. Right: Samples from our proposed MVHand dataset. We highlight the error region with red box.
![Image](images/e7c69c53a64ac25360fa3a1019bca22d7812a3a92f074df8575eed36027c7185.jpg)
Figure 4: MVHand dataset point clouds visualization. These four rows show RGB images, mesh vertices, our complete point clouds, our point clouds segmentation by using K-Nearest Neighbors algorithm based on mesh vertices.
## 4 实验 数据集与指标：除了我们自己录制的MVHand数据集外，我们还在四个标准的基于RGB的手部姿态估计基准数据集上进行了测试。RHD [☐]是一个合成数据集，包含42k张训练图像和2.7k张测试图像，其中的手部图像为渲染而成。STB [☐]收录了单个人左手在6种真实室内背景前的视频，我们采用[☐]中提出的15k/3k训练/测试划分方式。FreiHAND [☐]是一个具有挑战性的多视角RGB数据集，涉及手部与物体的交互场景。YouTube3D Hands-in-the-Wild [☐]则选自YouTube视频，其训练/验证/测试集的图像数量分别为47k/1.5k/1.5k。 为了评估3D姿态精度，我们使用正确关键点百分比（PCK）得分的曲线下面积（AUC）作为评价指标，其中PCK是根据不同误差阈值计算得出的 [^1]。我们还根据平均关节位置误差（MPJPE）来评估3D关节距离（单位：毫米）与真实值之间的偏差。在评估重建的点云时，我们依据公式1和公式2来计算平均倒角距离和地球移动距离。 实现细节：我们首先使用ADAM优化算法来训练点云重建模型，随后再用于3D姿态估计。对于RGB到点云的编解码器，我们采用 ---
MethodRHDSTB
Zimm.'17 [E7]30.428.68
Spurr'18 [E1]19.738.56
Yang'19a [E6]19.958.56
Bouk.'19 [D]16.78 $^{*}$9.76
Yang'19b [E7]13.147.05
Iqbal'18 [E5]13.828.01 $^{*}$
Ours(w/o rec.)15.807.72
Ours(full)13.386.71
MethodFreiHandYouTube3DMVHand
Zimm.'19 [^13]11.0--
Bouk.'19 [^1]23.43 $^{*}$19.24 $^{*}$
Chen'21 [^12]11.8--
Choi'20 [^1]7.6--
Yang'19b [^13]12.35 $^{*}$18.76 $^{*}$15.12 $^{*}$
Iqbal'18 [^13]13.52 $^{*}$19.32 $^{*}$15.27 $^{*}$
Ours(w/o rec.)13.9022.5017.80
Ours(full)9.6018.5014.50
Table 2: Comparison of MPJPE (mm) with SOTA. "w/o rec." means without using our point cloud reconstruction pipeline, otherwise, "full". The best score is marked in bold. * indicates results based on released source code of [☐] and [☐], and our re-implementation of [☐].
初始学习率为0.001，权重衰减为 $1 \times 10^{-6}$，批量大小设为32。之后，我们在微调RGB编码器的同时训练3D姿态解码器，此时初始学习率设为0.0001，权重衰减仍为 $1 \times 10^{-6}$。 ![Image](images/849eb61efdd76e608e3c5537451968c8fb20db5f66557a41cdc4be30fc2a32ea.jpg) ![Image](images/76c390e09a64fb00dabe691aa6f9b0a99c4bf6a3d55447de7889c3639e4d7ce4.jpg) ![Image](images/80360bca9a9e8bb71cc8f60cccd823a8989e809e9356c75499dac480386d38fa.jpg) ![Image](images/599c4f873af7d0197393782da024e8c57e7f16d7ca3218585b33c612f9011215.jpg) ![Image](images/40ffbc9aa99a0ae049b1ead0c0e8570e52a812743876ee04032c49d699b2e63c.jpg) ![Image](images/61d9276883603601682263b7750d7cea179c856d8b5f8d8fc8c7cc495c581059.jpg) ![Image](images/631e57c03eb0dc294aa00a98225ab00410f0b16786451080524e353e4a6c4654.jpg) ![Image](images/e4dd4859d32d25508cec0f3b39b0bdc30e7d14328028acecda5325d1d6e10d04.jpg) ![Image](images/b04582ae6835fdb109a9b7fb5006cf99449292cbbe6563135dc006feddc1a34a.jpg) ![Image](images/e8c430ca126c2967e98280264a43fd72711d9753134787d1db2fbf3cf0a38615.jpg) ![Image](images/05507ce04201d9d5722f00bfedf1efd40ce8f3cac6f291613e6d8f2a7551d697.jpg) ![Image](images/f37d23b0e5514c88a499121e9eabd54a72e2391f4d1ec4726d2986417ffdb430.jpg) ![Image](images/8cfde0ac1c891abe8789adc647f495b58607f8d275af89cf1d76f968c3a1638b.jpg) ![Image](images/2208672e24d8808d73b43d0bded30dfe3c74be919bc0849606151f4fe10ac457.jpg) ![Image](images/e237961797844ba1e29613013f1dc449efe695361f699dfefcc9f1f765603d3e.jpg) ![Image](images/b794df3479036928d53b6a8cf4baf190f7d306a5b03fed0380cc833f0271e253.jpg) ![Image](images/79a9497f94fe9f8c53268f377761f97d97bbdf3839749e42172f1cbfcb52d9a5.jpg) ![Image](images/1a0f3a1765964dc45f767a9b1912d4321b642c6ca2a1a14e2690f373c433b218.jpg) ![Image](images/2ca98d3b78802501cf87392b508ecf6d2efcd65527d540431521aa52968b9e22.jpg) ![Image](images/5010cd59dec4dd44fe4bfd40e5875a1bb01c4e772abbf8c71c6f41dcc922453c.jpg) ![Image](images/d73a9e185068569f51838fef4f4a1020b2d5736d371a6ac6bde51601c3396e32.jpg) ![Image](images/76d253d3292fe6f01d430508e50f8bb082d1b741e8a78b3c8fe24d0d066ae53c.jpg) ![Image](images/b0e3822708c09e60ca7e6e69c345e6433429e9686ea4e4953f3d6f827c77c45b.jpg) ![Image](images/ab93159925ae5d26ed18e98cff4552d75926a97fa30516fecb99dce3ed97904f.jpg)
Figure 5: 2D and 3D pose visualization. Left to right column: Bouk.¹⁹ [◼], Iqbal¹⁸ [◼], Yang¹⁹b [◼], Ours(w/o rec.), Ours(full), ground truth. We highlight the differences among predictions and the ground-truth poses with red boxes.
### 4.1 姿态估计结果对比 表2对比了我们的3D姿态估计精度。在RHD数据集上，我们提出的方法超越了大多数其他方案 [^3] [^6]、[^6]、[^7]。尽管Yang等人采用了透视校正以及2D热图等额外模态，但我们的MPJPE仍与其结果相当 [^8]。在STB数据集上，我们的MPJPE数值最低。图6(a)和(b)分别展示了RHD和STB数据集上的3D PCK曲线。在这两个数据集上，我们提出的方法均获得了最高的AUC值。关于Freihand和YouTube3D数据集的公开研究成果较少。对于FreiHand数据集，我们的MPJPE值为9.6毫米，低于 [^0] [^8]。Choi'20的研究结果为7.6毫米 [^9]，但他们使用的是其他预训练模型输出的2D姿态作为输入。由于YouTube3D数据集未提供手部尺度信息，我们采用40毫米作为参考骨骼长度 $^2$ 来评估其测试集。表2还对比了在我们提出的MVHand数据集上的姿态估计精度。 --- ![Image](images/b9564371c4df5f949be29d63ebd1b44d8ef52224fec1508e5bbae322da115dd1.jpg)
(a) RHD AUC
![Image](images/1bddaae253857c4a0d5bf7f1e00a4cb95c9aa4d9e5e7b6309799d73230ac339e.jpg)
(b) STB AUC
Figure 6: Comparisons with state-of-the-art methods on RHD [^17] and STB [^14].
Chamfer DistanceEarth Mover's Distance
2D grid3D handlocal 3D2D grid3D handlocal 3D
STB0.260.250.241.751.711.68
RHD0.590.550.452.011.841.78
YouTube3D0.310.300.271.321.240.99
MVHand1.201.150.99———
Table 3: Mean CD and EMD per point; the best score is marked in bold.
作为基线，我们遵循 [^3] 的方法，采用留一受试者测试划分方式，直接利用2.5D姿态表示来回归3D手部姿态。我们完整模型的MPJPE值为14.5毫米，比该基线结果优0.77毫米。更多定性结果详见图5。 ### 4.2 消融实验 点云解码器：我们移除了点云解码器，直接采用与我们当前模型相同的架构组件来构建图像到姿态的编解码器。表2显示，去掉重建模块的设置会导致误差高于包含点云解码器的完整模型。这一情况在所有基准数据集以及MVHand数据集上均成立；平均而言，其误差比完整模型高出20%。这些结果证实，点云重建有助于学习更优的潜空间表示，从而提升3D姿态估计性能。
Chamfer DistanceEarth Mover's Distance
[^0]Ours (3D)[☐](Sur.)Ours (Sur.)[^0]Ours (3D)[☐](Sur.)Ours (Sur.)
STB.367.243.146.1132.341.683.1365.294
RHD.627.450.195.2991.951.784.4345.134
Table 4: Mean CD and EMD per point; "Sur." indicates CD and EMD on a 2.5D space as per [^5], since [^6] estimates only the camera-facing surface of the hand. The best score is marked in bold. Surface result values are scaled by 1000.
模板初始化：我们在表3中对比了基于2D网格、3D手部以及局部3D手部初始化方式得到的点云重建结果，评价指标为CD和EMD；数值越小说明效果越好。由于MVHand数据集中的点数（1038个）过多，无法在合理时间内计算EMD，因此我们在此数据集中省略了该指标。表3的结果印证了我们采用的局部3D手部初始化方法的优势。 --- ![Image](images/f45eae50bac583a8e5575698238d268b87b87df821fafd772bfd385755bc2123.jpg)
Figure 7: Left: Reconstruction results compared with [^67] for RHD and STB. Top to bottom: RGB images, incomplete reconstructions from [^67], our complete reconstruction from the same viewpoint and opposite viewpoint. Right: Top to bottom: original RGB images from five datasets, the component-wise point cloud reconstructions from our method, aggregated into "Global" and its opposing view. Red points are close to the camera, and blue are far.
### 4.3 点云重建结果 我们在图7中展示了RHD和STB数据集的样本重建结果。图7还对比了[^6]与[^7]提出的方法，该方法用于重建朝向摄像机的表面点云。在图7中，我们展示了来自五个数据集的样本，可以发现我们的重建结果不仅完整，而且质量更高，尤其是在区分各个手指方面表现更佳。此外，我们还展示了基于组件的点云重建结果，这些结果验证了我们的局部与全局框架在重建高保真点云方面的有效性。 由于没有其他研究能够实现完整的点云重建，我们无法进行直接的定量比较。取而代之的是，我们在表4中进行了两项间接比较。首先，我们与[^1]的方法进行对比，该方法直接回归MANO参数。我们按照第3.3节所述的方式，将估计出的MANO参数投影为3D点云。结果显示，在STB数据集上，我们的3D结果在CD和EMD指标上均更优；在RHD数据集上，CD指标也表现更好。我们还与[^17]的方法进行了比较，不过由于他们的方法仅能恢复表面点云，因此我们按照[^15]的描述，将完整的点云投影到2.5D空间。尽管我们的EMD结果不如[^17]，但我们认为投影过程会累积一些误差。不过从可视化效果来看，我们的点云比[^17]的更清晰、质量更高（见图7）。 ## 5 结论 本文提出了一种从RGB图像重建完整3D点云的框架。在训练RGB-点云编码器-解码器的过程中，我们还学习到了丰富的潜在表示，该表示可被解码为精确的3D手部姿态。为了提升点云的质量，我们引入了两种模板初始化方式。为了验证该方法在真实世界手部点云数据上的性能，我们推出了MVHand——一个新的多视角RGB-D数据集。实验结果表明，我们提出的方法在性能上与现有的3D手部姿态和形状估计方法相当甚至更优。在未来的工作中，我们将探索利用点云来解决手部自遮挡问题。 --- ## 6 致谢 本研究得到了新加坡教育部学术研究基金一级项目T1251RES1819的支持。 ## 参考文献 [^1]: Thiemo Alldieck, Gerard Pons-Moll, Christian Theobalt, and Marcus Magnor. Tex2shape: Detailed full human body geometry from a single image. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 2293–2303, 2019. [^2]: Adnane Boukhayma, Rodrigo de Bem, and Philip HS Torr. 3d hand shape and pose from images in the wild. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 10843–10852, 2019. [^3]: Yujun Cai, Liuhao Ge, Jianfei Cai, and Junsong Yuan. Weakly-supervised 3d hand pose estimation from monocular rgb images. In Proceedings of the European Conference on Computer Vision (ECCV), pages 666–682, 2018. [^4]: Hongsuk Choi, Gyeongsik Moon, and Kyoung Mu Lee. Pose2mesh: Graph convolutional network for 3d human pose and mesh recovery from a 2d human pose. In European Conference on Computer Vision, pages 769–787. Springer, 2020. [^5]: Haoqiang Fan, Hao Su, and Leonidas J Guibas. A point set generation network for 3d object reconstruction from a single image. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 605–613, 2017. [^6]: Matheus Gadelha, Rui Wang, and Subhransu Maji. Multiresolution tree networks for 3d point cloud processing. In Proceedings of the European Conference on Computer Vision (ECCV), pages 103–118, 2018. [^7]: Liuhao Ge, Hui Liang, Junsong Yuan, and Daniel Thalmann. Robust 3d hand pose estimation in single depth images: from single-view cnn to multi-view cnns. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 3593–3601, 2016. [^8]: Liuhao Ge, Hui Liang, Junsong Yuan, and Daniel Thalmann. 3d convolutional neural networks for efficient and robust hand pose estimation from single depth images. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 1991–2000, 2017. [^9]: Liuhao Ge, Yujun Cai, Junwu Weng, and Junsong Yuan. Hand pointnet: 3d hand pose estimation using point sets. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 8417–8426, 2018. ## [^10]: Liuhao Ge, Zhou Ren, and Junsong Yuan. Point-to-point regression pointnet for 3d hand pose estimation. In Proceedings of the European conference on computer vision (ECCV), pages 475–491, 2018 --- [^11]: Liuhao Ge, Zhou Ren, Yuncheng Li, Zehao Xue, Yingying Wang, Jianfei Cai, and Junsong Yuan. 3d hand shape and pose estimation from a single rgb image. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 10833–10842, 2019. [^12]: T Groueix, M Fisher, VG Kim, BC Russell, and M Aubry. Atlasnet: a papier-mâché approach to learning 3d surface generation (2018). arXiv preprint arXiv:1802.05384, 11. [^13]: Shreyas Hampali, Mahdi Rad, Markus Oberweger, and Vincent Lepetit. Honnotate: A method for 3d annotation of hand and object poses. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 3196–3206, 2020. [^14]: Shangchen Han, Beibei Liu, Randi Cabezas, Christopher D Twigg, Peizhao Zhang, Jeff Petkau, Tsz-Ho Yu, Chun-Jung Tai, Muzaffer Akbay, Zheng Wang, et al. Megatrack: monochrome egocentric articulated hand-tracking for virtual reality. ACM Transactions on Graphics (TOG), 39(4):87–1, 2020. [^15]: Umar Iqbal, Pavlo Molchanov, Thomas Breuel Juergen Gall, and Jan Kautz. Hand pose estimation via latent 2.5 d heatmap regression. In Proceedings of the European Conference on Computer Vision (ECCV), pages 118–134, 2018. [^16]: David Joseph Tan, Thomas Cashman, Jonathan Taylor, Andrew Fitzgibbon, Daniel Tarlow, Sameh Khamis, Shahram Izadi, and Jamie Shotton. Fits like a glove: Rapid and reliable hand shape personalization. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 5610–5619, 2016. [^17]: Sameh Khamis, Jonathan Taylor, Jamie Shotton, Cem Keskin, Shahram Izadi, and Andrew Fitzgibbon. Learning an efficient model of hand shape variation from depth images. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 2540–2548, 2015. [^18]: Roman Klokov and Victor Lempitsky. Escape from cells: Deep kd-networks for the recognition of 3d point cloud models. In Proceedings of the IEEE International Conference on Computer Vision, pages 863–872, 2017. [^19]: Dominik Kulon, Riza Alp Guler, Iasonas Kokkinos, Michael M Bronstein, and Stefanos Zafeiriou. Weakly-supervised mesh-convolutional hand reconstruction in the wild. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 4990–5000, 2020. [^20]: Itai Lang, Asaf Manor, and Shai Avidan. Samplenet: differentiable point cloud sampling. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 7578–7588, 2020. [^21]: Shile Li and Dongheui Lee. Point-to-pose voting based hand pose estimation using residual permutation equivariant layer. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 11927–11936, 2019. ## [^22]: Yangyan Li, Rui Bu, Mingchao Sun, Wei Wu, Xinhan Di, and Baoquan Chen. Pointcnn: Convolution on x-transformed points. In Advances in neural information processing systems, pages 820–830, 2018 --- [^23]: Jameel Malik, Ibrahim Abdelaziz, Ahmed Elhayek, Soshi Shimada, Sk Aziz Ali, Vladislav Golyanik, Christian Theobalt, and Didier Stricker. Handvoxnet: Deep voxel-based network for 3d hand shape and pose estimation from a single depth map. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 7113–7122, 2020. [^24]: Priyanka Mandikal, Navaneet KL, and R Venkatesh Babu. 3d-psrnet: Part segmented 3d point cloud reconstruction from a single image. In Proceedings of the European Conference on Computer Vision (ECCV) Workshops, pages 0–0, 2018. [^25]: Gyeongsik Moon, Ju Yong Chang, and Kyoung Mu Lee. V2v-posenet: Voxel-to-voxel prediction network for accurate 3d hand and human pose estimation from a single depth map. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 5079–5088, 2018. [^26]: Franziska Mueller, Micah Davis, Florian Bernard, Oleksandr Sotnychenko, Mickelai Verschoor, Miguel A Otaduy, Dan Casas, and Christian Theobalt. Real-time pose and shape reconstruction of two interacting hands with a single depth camera. ACM Transactions on Graphics (TOG), 38(4):1–13, 2019. [^27]: Alejandro Newell, Kaiyu Yang, and Jia Deng. Stacked hourglass networks for human pose estimation. In European conference on computer vision, pages 483–499. Springer, 2016. [^28]: Charles R Qi, Hao Su, Kaichun Mo, and Leonidas J Guibas. Pointnet: Deep learning on point sets for 3d classification and segmentation. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 652–660, 2017. [^29]: Javier Romero, Dimitrios Tzionas, and Michael J Black. Embodied hands: Modeling and capturing hands and bodies together. ACM Transactions on Graphics (ToG), 36(6): 245, 2017. [^30]: Ayan Sinha, Chijo Choi, and Karthik Ramani. Deephand: Robust hand pose estimation by completing a matrix imputed with deep features. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 4150–4158, 2016. [^31]: Adrian Spurr, Jie Song, Seonwook Park, and Otmar Hilliges. Cross-modal deep variational hand pose estimation. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 89–98, 2018. [^32]: Xiao Sun, Bin Xiao, Fangyin Wei, Shuang Liang, and Yichen Wei. Integral human pose regression. In Proceedings of the European Conference on Computer Vision (ECCV), pages 529–545, 2018. [^33]: Jonathan Tompson, Murphy Stein, Yann Lecun, and Ken Perlin. Real-time continuous pose recovery of human hands using convolutional networks. ACM Transactions on Graphics (ToG), 33(5):1–10, 2014. ## [^34]: Chengde Wan, Thomas Probst, Luc Van Gool, and Angela Yao. Dual grid net: hand mesh vertex regression from single depth maps. In ECCV, 2020 --- [^35]: Fu Xiong, Boshen Zhang, Yang Xiao, Zhiguo Cao, Taidong Yu, Joey Tianyi Zhou, and Junsong Yuan. A2j: Anchor-to-joint regression network for 3d articulated pose estimation from a single depth image. In Proceedings of the IEEE International Conference on Computer Vision, pages 793–802, 2019. [^36]: Linlin Yang and Angela Yao. Disentangling latent hands for image synthesis and pose estimation. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 9877–9886, 2019. [^37]: Linlin Yang, Shile Li, Dongheui Lee, and Angela Yao. Aligning latent spaces for 3d hand pose estimation. In Proceedings of the IEEE International Conference on Computer Vision, pages 2335–2343, 2019. [^38]: Yaoqing Yang, Chen Feng, Yiru Shen, and Dong Tian. Foldingnet: Point cloud autoencoder via deep grid deformation. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 206–215, 2018. [^39]: Pengfei Yao, Zheng Fang, Fan Wu, Yao Feng, and Jiwei Li. Densebody: Directly regressing dense 3d human pose and shape from a single color image. arXiv preprint arXiv:1903.10153, 2019. [^40]: Xiaoqing Ye, Jiamao Li, Hexiao Huang, Liang Du, and Xiaolin Zhang. 3d recurrent neural networks with context fusion for point cloud semantic segmentation. In Proceedings of the European Conference on Computer Vision (ECCV), pages 403–417, 2018. [^41]: Shanxin Yuan, Qi Ye, Bjorn Stenger, Siddhant Jain, and Tae-Kyun Kim. Bighand2.2m benchmark: Hand pose dataset and state of the art analysis. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 4866–4874, 2017. [^42]: Chen Yujin, Zhigang Tu, Di Kang, Linchao Bao, Ying Zhang, Xuefei Zhe, Ruizhi Chen, and Junsong Yuan. Model-based 3d hand reconstruction via self-supervised learning. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 10451–10460, 2021. [^43]: Wei Zeng and Theo Gevers. 3dcontextnet: Kd tree guided hierarchical learning of point clouds using local and global contextual cues. In Proceedings of the European Conference on Computer Vision (ECCV), pages 0–0, 2018. [^44]: Jiawei Zhang, Jianbo Jiao, Mingliang Chen, Liangqiong Qu, Xiaobin Xu, and Qingxiong Yang. 3d hand pose tracking and estimation using stereo matching. arXiv preprint arXiv:1610.07214, 2016. [^45]: Tianshu Zhang, Buzhen Huang, and Yangang Wang. Object-occluded human shape and pose estimation from a single color image. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 7376–7385, 2020. ## [^46]: Xiong Zhang, Qiang Li, Hong Mo, Wenbo Zhang, and Wen Zheng. End-to-end hand mesh recovery from a monocular rgb image. In Proceedings of the IEEE International Conference on Computer Vision, pages 2354–2364, 2019 --- [^47]: Christian Zimmermann and Thomas Brox. Learning to estimate 3d hand pose from single rgb images. In Proceedings of the IEEE international conference on computer vision, pages 4903–4911, 2017. [^48]: Christian Zimmermann, Duygu Ceylan, Jimei Yang, Bryan Russell, Max Argus, and Thomas Brox. Freihand: A dataset for markerless capture of hand pose and shape from single rgb images. In Proceedings of the IEEE International Conference on Computer Vision, pages 813–822, 2019.