# 面向全身3D人体网格估计的精确3D手部姿态估计
文：Moon Gyeongsik $^{1}$、Choi Hongsuk $^{1}$、Lee Kyoung Mu $^{1,2}$
$^{1}$韩国首尔大学电子计算机工程系及ASRI实验室、$^{2}$IPAI实验室 {mks0601,redarknight,kyoungmu}@snu.ac.kr
## 摘要
全身3D人体网格估计旨在同时重建3D人体、手部和面部。尽管已有多种相关方法被提出，但由于两个原因，对由3D手腕和手指组成的3D手部的精确预测仍颇具挑战性。首先，在预测3D手腕时未充分考虑人体运动链的特性；其次，以往的研究利用人体特征来预测3D手指，而人体特征中几乎不包含手指相关信息。为解决这些局限，我们提出了Hand4Whole，它相比以往的研究具有两大优势。首先，我们设计了Pose2Pose模块，该模块利用关节特征来预测3D关节旋转。借助Pose2Pose，Hand4Whole利用手部MCP关节特征来预测3D手腕，因为MCP关节在人体运动链中对3D手腕旋转的影响较大。其次，Hand4Whole在预测3D手指旋转时会摒弃人体特征。我们的Hand4Whole采用端到端方式训练，生成的3D手部结果远优于以往的全身3D人体网格估计方法。代码可在此处获取 $^{1}$。
### 1. 引言
全身3D人体网格估计旨在同时在3D空间中定位包括身体、手部和面部在内的所有人体部位的网格顶点。通过整合所有人体部位的3D网格，我们不仅能了解人体的姿态和形状，还能通过手部姿态和面部表情洞察人的意图与情感。该问题面临的挑战包括图像尺寸较小、手部关节结构复杂，以及如何将估计出的3D身体网格与手部网格平滑衔接。
现有的全身3D人体网格估计系统 [^4] [^5] [^25] [^34] 包含身体、手部和面部网络。由于手部和面部在人体图像中占据的面积较小，以往的研究会对手部和面部图像进行裁剪和缩放。
(a) 3D wrist rotations with MCP joints
(b) Avg. pixel of hand box widths and heights in various feature maps
Figure 1. (a) Four hand MCP joints (red circles) provide essential 3D wrist rotation information as they are child nodes of a wrist in hand kinematic chain. (b) The average of width and height (pixel) of hand boxes in MSCOCO [^12]. The detailed finger information is almost missing at the output of the standard backbone, ResNet (less than 1 pixel).
将其分辨率提升至更高水平。随后，分别利用身体、手部和面部网络处理人体、手部和面部图像。这些网络会对提取的图像特征执行全局平均池化（GAP）操作，进而分别预测3D身体、手部和面部，这些预测结果包含3D关节旋转及其他参数（如身体形状和面部表情）。3D身体、手部和面部数据会被传入SMPL-X层 [^24]，以生成最终的全身3D网格。
3D手部恢复包含3D手腕和手指旋转的预测。精确的3D手部恢复是关键
---
Figure 2. Qualitative results comparison between the proposed Hand4Whole, ExPose [^4], and FrankMocap [^25] when hands are invisible. Taking a body feature is necessary for plausible 3D wrist rotations.
用于全身3D人体网格估计；然而，以往的研究[^4] [^5] [^25] [^34]生成的3D手部模型并不准确，原因有二。首先，在3D手腕旋转方面，这些研究并未充分考虑人体运动链。在人体运动链中，手腕连接着人体与手指的根部关节（即手部MCP关节）；因此，要准确预测3D手腕旋转，必须利用人体和MCP关节的信息。尤其是MCP关节信息能为确定3D手腕旋转提供关键线索，如图1(a)所示。此外，身体信息能反映整体体态，即便手部被遮挡或截断，也能使预测的3D手腕旋转在解剖学上合理且与身体平滑衔接，如图2所示。但以往的研究均未同时运用身体特征与MCP关节特征来预测3D手腕旋转。它们要么仅使用身体特征[^34]，要么仅使用手部特征[^4] [^25]，要么将两者结合[^5]。其中，手部特征包含大量冗余信息，比如手指信息，而MCP关节特征则包含了关键的3D手腕旋转信息。尤其是手指信息可能会降低3D手腕旋转的准确性，因为手指往往独立于手腕运动，且关节结构极为复杂。
其次，在3D手指旋转方面，以往的研究[^5] [^34]除了使用手部特征外，还采用了身体特征。身体特征中包含大量冗余信息，比如身体和背景信息，而且由于手部尺寸较小，所包含的手部信息也较为粗糙，如图1(b)所示。因此，这类冗余信息会损害3D手指旋转的准确性。
为克服上述局限，我们提出了Hand4Whole——一种全身3D人体网格估计系统，能在全身3D网格中生成更精准的3D手部模型。与以往研究相比，Hand4Whole有两个显著优势。首先，我们设计了Pose2Pose，这是一个基于3D位置姿态引导的3D旋转姿态预测框架。此处，3D位置和旋转姿态分别指代3D关节位置与旋转角度。与以往的研究[^4] [^5] [^25]通过GAP操作将图像特征向量化不同，我们的方法通过位置姿态引导池化（PPP）来提取关节特征。这些关节特征能让Pose2Pose理解每个关节的不同语义信息，而以往使用的向量化图像特征只能提供实例级的理解。借助Pose2Pose，Hand4Whole结合身体特征与双手的八个MCP关节特征来预测3D手腕旋转。当手部被遮挡或截断时，身体特征能使3D手腕旋转在解剖学上合理，如图2所示。从解剖学角度看，如图1(a)所示，双手三十个手指关节中，八个手部MCP关节特征提供了关键的3D手腕旋转信息。通过结合这两类特征，Hand4Whole能生成更准确的3D手腕旋转结果。
其次，在预测3D手指旋转时，我们会舍弃身体特征。这样一来，就能避免粗糙的手部信息干扰3D手指旋转的精度。尽管我们并未将身体特征用于3D手指旋转的预测，但由于我们的3D手腕旋转已经考虑了身体网络的特征，因此生成的3D手部模型在解剖学上依然合理，且能与身体关节平滑衔接。尤其是手腕作为人类手部运动链的根节点，决定了手指的全局3D旋转。我们的Hand4Whole采用端到端方式训练，其性能显著优于以往的全身体3D人体网格估计方法。
我们的贡献可总结如下。
- 我们的Hand4Whole能生成更精确的3D手部模型，包含3D手腕和手指旋转信息。借助我们提出的Pose2Pose技术，Hand4Whole同时利用身体和手部MCP关节特征来实现精确的3D手腕旋转，并实现3D身体与手部之间的平滑衔接。
• 此外，在预测3D手指旋转时，我们会舍弃身体特征。
- Hand4Whole采用端到端方式训练，其性能大幅优于以往的全身体3D人体……
---
……估计方法。
### 2. 相关工作
尽管在仅含身体的[^3] [^14] [^16] [^18] [^20] [^21] [^28]、仅含手部的[^2] [^7] [^17] [^35]以及仅含脸部的[^26]网格估计领域已取得显著进展，但同时恢复3D身体、手部和脸部的尝试却寥寥无几。早期的几项研究采用基于优化的方法，将3D人体模型拟合到2D/3D证据上。Joo等人[^13]将他们的人体模型（即Frank和Adam）拟合到多视角摄影棚环境中的3D人体关节坐标和点云上。Xiang等人[^30]将Joo等人[^13]的方法拓展到了单RGB图像场景。SMPLifX[^24]和Xu等人[^32]分别将他们的人体模型SMPL-X和GHUM拟合到2D人体关节坐标上。由于上述基于优化的方法速度较慢且易受噪声证据影响，近期出现了基于回归的方法。最近，已有几种基于神经网络的方法被提出。它们都包含身体、手部和脸部网络，分别接收人体图像、手部裁剪图像和脸部裁剪图像作为输入，三个网络会预测SMPL-X参数以生成最终的全身3D人体网格。ExPose[^4]是最早采用基于回归方法的研究，它利用了这三个独立的网络。FrankMocap[^25]由身体和手部网络组成，其手部预测结果会与3D身体结果相拼接。Zhou等人[^34]利用3D关节坐标来预测3D关节旋转。PIXIE[^5]引入了一个调节模块来预测3D关节旋转。
与近期提出的全身3D人体网格估计方法相比，我们的Hand4Whole有三个显著的新贡献。首先，我们将Pose2Pose设计为Hand4Whole的核心模块。Pose2Pose通过引入关节特征，使Hand4Whole能够理解每个关节的不同语义信息；而以往的研究[^4] [^5] [^25]仅通过执行GAP操作，为其系统提供实例级特征。其次，Hand4Whole利用身体和手部MCP关节特征来预测3D手腕旋转。相比之下，ExPose [^4]和FrankMocap [^25]仅依据手部特征而非身体特征来预测3D手腕旋转。如图2所示，在手部被遮挡或截断时，预测3D手腕旋转过程中缺少身体特征会导致不合理的3D手腕旋转结果。Zhou等人[^34]仅依据身体特征而非手部特征来预测3D手腕旋转，由于他们未利用MCP关节特征，因此得到的3D手腕旋转结果并不准确。PIXIE [^5]通过融合器结合身体和手部特征来预测3D手腕旋转，但其手部特征中包含大量不必要的信息（如手指信息），由于手指的运动往往独立于手腕，这类信息会降低3D手腕旋转的预测精度。第三，Hand4Whole在预测3D手指旋转时会摒弃身体特征。相反，Zhou等人[^34]和PIXIE [^5]会使用身体特征，但由于手部在图像中的像素尺寸较小，这类特征所包含的手部信息极为粗略。
### 3. Hand4Whole
图3展示了所提出的用于全身3D人体网格估计的Hand4Whole的整体流程。它由BodyNet、HandNet和FaceNet组成，分别接收经过裁剪和缩放的人体、手部和面部图像。各网络的输出会被送入SMPL-X [^24]层，从而生成最终的全身3D人体网格。
#### 3.1. Pose2Pose
首先，我们介绍Pose2Pose——一种以3D位置姿态（即3D关节位置）为导向的3D旋转姿态（即3D关节旋转）预测框架。图4展示了Pose2Pose用于3D人体时的整体流程。Pose2Pose使所提出的Hand4Whole能够理解每个关节的不同语义信息。我们将Pose2Pose作为BodyNet和HandNet的核心模块。Pose2Pose包含两个阶段，具体如下所述。
3D 关节坐标估计。Pose2Pose 首先从人体图像预测 3D 关节坐标 $\mathbf{P} \in \mathbb{R}^{J \times 3}$。J 表示关节数量。P 的 x 轴和 y 轴位于像素空间，其 z 轴位于以根关节（即身体为骨盆、手部为手腕）为相对基准的深度空间。为此，ResNet-50 [^10] 从输入图像中提取 2048 维图像特征图 $\mathbf{F}$。我们使用移除了原始 ResNet 最后一部分的 GAP 和全连接层之后的 ResNet。然后，1×1 卷积层从 $\mathbf{H}$ 预测人体关节的 3D 热图 $\mathbf{F}$，其中 $\mathbf{H}$ 与 $\mathbf{F}$ 具有相同的高度和宽度。为了从 2D 特征图得到 3D 热图，1×1 卷积层将通道维度从 2048 改为 8.J。然后，我们将 8J 维特征图重塑为深度大小为 8 的 J 维 3D 热图。3D 关节坐标 $\mathbf{P}$ 通过 soft-argmax 运算 $\mathbf{H}$ 以可微分方式从 [^27] 获得。
基于位置姿态引导的池化（PPP）。基于位置姿态引导的池化从二维特征图$\mathbf{F}$中提取关节特征。为此，我们对$\mathbf{F}$应用1×1卷积，将其通道维度从2048变为512。接着，我们在三维关节坐标$(x, y)$的$\mathbf{P}$位置对卷积输出进行双线性插值，从而生成关节特征$\mathbf{F}^P \in \mathbb{R}^{J \times 512}$。需要注意的是，由于$(x, y)$的$\mathbf{P}$坐标位于像素空间中，我们直接将其用于插值，无需进行三维到二维的投影。这些关节特征提供了每个关节的不同上下文信息，对于三维关节旋转[^8]而言非常有用。
三维关节旋转估计。对于三维关节旋转$\theta$，我们将关节特征$\mathbf{F}^P$与三维关节坐标$\mathbf{P}$拼接起来并展平，记为$\mathbf{v} \in \mathbb{R}^{512J+3J}$。然后，$\mathbf{v}$
---
Figure 3. The overall pipeline or Hana4Wnoie. The BodyNet predicts 3D ooy parameters, which include 3D wrist rotations, from a combination of body and hand MCP joint information. The HandNet predicts 3D finger rotation only from fine hand information without combining coarse hand information, extracted from the BodyNet. The weights in HandNet for the right and flipped left hand images are shared. The final whole-body 3D human mesh is obtained by forwarding the outputs of BodyNet, HandNet, and FaceNet to the SMPL-X [^24] layer. The hand and face boxes are predicted from BodyNet, not shown in the figure. Our Hand4Whole is trained in an end-to-end manner.
Figure 4. Illustration of the Pose2Pose in our BodyNet. It extracts the joint features by interpolating $(x, y)$ pixel position of the 3D joint coordinates $P_b$ on the output of 1-by-1 convolution. For the simplicity, we describe only right elbow and ankle.
会被送入全连接层，进而生成三维关节旋转$\theta$。
#### 3.2. BodyNet
BodyNet会输出三维人体关节旋转、SMPL-X形状参数、相机参数以及手部和面部的边界框。Pose2Pose在三维人体关节旋转的预测中发挥着核心作用。
三维人体关节旋转。借助Pose2Pose，BodyNet能从人体图像$\theta_b \in \mathbb{R}^{22 \times 3}$中预测三维人体关节旋转$\mathbf{I}_b \in \mathbb{R}^{3 \times 256 \times 192}$，该图像是由高分辨率人体图像$\mathbf{I} \in \mathbb{R}^{3 \times 512 \times 384}$下采样得到的。下采样是为了节省计算成本。在预测三维关节旋转时，我们对Pose2Pose做了一处修改：除了使用$\mathbf{v}_b$（即三维人体关节坐标与关节特征的拼接）外，BodyNet还额外使用了$\mathbf{v}_m$——它是MCP关节的三维坐标与特征的拼接。$\mathbf{v}_m$源自HandNet，第3.3节将详细介绍其获取方式。额外利用MCP关节信息能使BodyNet生成更精确的三维手腕旋转结果。需要注意的是，预测得到的三维人体关节旋转$\theta_b$包含了三维手腕旋转。手部MCP关节特征不仅对三维手腕旋转有益，对三维肘部旋转同样如此，因为肘部在滚动轴上的旋转与手部MCP关节密切相关。正因如此，手部MCP关节特征被用于所有人体关节的三维旋转预测，而不仅限于三维手腕旋转。
SMPL-X形状/相机参数。形状参数$\beta_b \in \mathbb{R}^{10}$和三维全局平移向量$\mathbf{t}_b \in \mathbb{R}^3$是通过GAP和一个全连接层，根据图像特征$\mathbf{F}_b$预测得出的。
手部和面部边界框。BodyNet通过将图像特征$\mathbf{F}_b$与三维热图$\mathbf{H}_b$拼接，再送入两个卷积层，从而预测手部和面部边界框。三维热图$\mathbf{H}_b$是根据人体关节的三维位置姿态预测的。通过对两个卷积层的输出应用soft-argmax[^27]，可得到边界框的中心点。通过对边界框中心点处的$\mathbf{F}_b$进行双线性插值，并将每个边界框中心的特征送入两个全连接层，即可计算出边界框的宽度和高度。
---
#### 3.3. HandNet
与BodyNet类似，HandNet利用Pose2Pose输出3D手指旋转结果$\theta_h \in \mathbb{R}^{15 \times 3}$。HandNet接收经过裁剪和调整大小后的手部图像$\mathbf{I}_h$，这些图像是从高分辨率人体图像$\mathbf{I}$中，通过在预测的手部边界框区域应用RoIAlign[^9]得到的。使用来自高分辨率图像$\mathbf{I}$的手部图像而非下采样后的人体图像$\mathbf{I}_b$，能够让HandNet充分利用手指的详细信息。在将左手的裁剪手部图像输入HandNet之前，会先将其翻转成右手图像；预测出3D手指旋转结果后，再将翻转后的左手输出结果还原。我们分别用$\theta_{rh}$和$\theta_{lh}$来表示左手和右手的3D手指旋转结果。
我们将MCP关节特征输入到BodyNet中。如3.2节所述，我们将八个MCP关节（即右手四个、左手四个）的3D坐标和特征拼接而成的向量$\mathbf{v}_m \in \mathbb{R}^{3*8+512*8}$传入BodyNet，以实现精确的3D手腕旋转预测。为此，我们从Pose2Pose的输出中获取左右手MCP关节的特征和3D坐标；将这些3D坐标和关节特征拼接并展平为向量$\mathbf{v}_m \in \mathbb{R}^{3*8+512*8}$后，再传入BodyNet。在手部关节中，我们选择MCP关节，是因为与其他手部关节相比，它们的位置误差更小，同时还能提供关键的3D手腕旋转信息。
#### 3.4. FaceNet
我们设计FaceNet时采用了简单的GAP基回归器，而非Pose2Pose架构，因为人脸的形变（如面部表情）无法被3D关节旋转完全建模。FaceNet从裁剪后的人脸图像$\theta_f \in \mathbb{R}^3$中预测3D下颌旋转结果$\psi \in \mathbb{R}^{10}$和面部表情编码$\mathbf{I}_f \in \mathbb{R}^{3 \times 192 \times 192}$。该裁剪后的人脸图像是从高分辨率人体图像$\mathbf{I}$中，通过在预测的脸部分界框区域应用RoIAlign[^9]得到，以便利用详细的人脸信息。我们使用ResNet时，去除了原始ResNet最后部分的GAP层和全连接层。
#### 3.5. 损失函数
我们的框架通过最小化损失函数L来进行端到端训练，该函数定义如下。
$$ L=L_{\mathrm{p a r a m}}+L_{\mathrm{c o o r d}}+L_{\mathrm{b o x}}, $$
其中$L_{param}$是预测的SMPL-X参数与真实值之间的$L_1$距离；$L_{coord}$是预测的关节坐标与真实值之间的$L_1$距离，计算损失函数时会用到三种类型的关节坐标：1）来自身体和手部Pose2Pose模块的3D关节坐标；2）通过将SMPL-X的关节回归矩阵作用于3D网格得到的3D关节坐标；3）将3D网格中的3D坐标通过透视投影映射到2D空间后得到的2D关节坐标。投影过程中使用了预测的3D全局平移向量$t_b$、固定的焦距（5000,5000）以及固定的主点（即$\mathbf{I}_b$的中心点），这一做法参考了[^16]。最后，$L_{box}$是预测的手部和脸部边界框的中心及缩放值与真实值之间的$L_1$距离。
### 4. 实现细节
PyTorch [^22] 被用于实现。身体分支中的 ResNet 初始化采用了 Xiao 等人 [^31] 在 MSCOCO 二维人体姿态数据集上预训练的模型。训练时，我们采用 Adam 优化器 [^15]，小批量大小为 96。训练期间会进行数据增强，包括缩放、旋转、随机水平翻转和颜色抖动。所有三维旋转最初均以 [^33] 的 6D 旋转表示形式进行预测，随后转换为三维轴角旋转。初始学习率设为 $10^{-4}$，并在第 $10^{th}$ 个周期时缩小为原来的十分之一。训练和测试均采用中性性别的 SMPL-X 模型。其他细节可在我们的代码中查看。
### 5. 实验
#### 5.1. 数据集与评估指标
数据集。训练时使用了 Human3.6M [^11]、MSCOCO 全身版本 [^12]、MPII [^1] 以及 FreiHAND [^36]。训练所用的三维伪真值通过 NeuralAnnot [^19] 生成。对于仅人体、仅手部以及仅面部的三维评估，我们分别使用 3DPW [^29]、FreiHAND [^36] 和 Stirling [^6]。全身三维评估则采用 EHF [^24] 和 AGORA [^23]。我们在 MSCOCO 验证集上提供了定性结果。
评估指标。平均关节位置误差（MPJPE）和平均顶点位置误差（MPVPE）分别用于评估三维关节和网格顶点的位置。二者均计算预测结果与真值之间在对齐根关节平移后的平均三维关节距离（毫米）和三维网格顶点距离（毫米）。计算全身及人体的三维误差时，以骨盆作为根关节；而计算手部和面部的三维误差时，则以手腕和颈部作为根关节。PA MPJPE 和 PA MPVPE 还会进一步对齐旋转和尺度。根据以往的研究 [^4]，MPJPE 和 PA MPJPE 所需的三维关节坐标是通过将 SMPL-X 中定义的关节回归矩阵作用于网格得到的。我们报告了三维手部误差中左手和右手的平均三维误差。
---
Figure 5. Qualitative comparison of models that does not take and take hand MCP joint features for the 3D wrist rotation. Utilizing MCP features improves the 3D wrist rotation significantly.
| Inputs for 3D wrist prediction | MPVPE (Hands) |
| Body | 50.4 |
| Body + Hand GAP | 43.1 |
| Body + All hand joints | 43.4 |
| Body + MCP joints (Ours) | 39.8 |
Table 1. Comparison of hands MPVPEs, obtained by models that predict 3D wrist rotation from various features, on EHF.
#### 5.2. 消融研究
用于三维手腕旋转的 MCP 关节特征。表 1 和图 5 表明，Hand4Whole 通过结合身体和手部的 MCP 关节特征，能够生成准确的三维手腕旋转结果。由于手部 MPVPE 是通过从全身网格中分离出三维手部网格且不进行旋转对齐来测量的，因此错误的三维手腕旋转会显著增大手部的 MPVPE。为了分析手部 MCP 关节特征的有效性，我们设计了三种变体。它们的网络架构与我们的一致，唯有 BodyNet 不同——该模块用于预测包括三维手腕旋转在内的三维人体关节旋转。在它们的 BodyNet 中，输入的是相同的身体特征（即身体的三维关节坐标和关节特征的组合）以及不同的手部特征。需要注意的是，如图 2 所示，当手部被遮挡时，身体特征对于生成合理的三维手腕旋转至关重要。由于这些变体的 HandNet 架构相同，因此它们的三维手指旋转预测结果也相似。所以，手部误差主要源于手腕旋转，而非手指旋转。
第一种变体仅利用身体特征来进行3D手腕旋转预测，类似于Zhou等人的方法[^34]。不过这种方法在3D手腕旋转预测上不够精确，这表明需要额外的手部特征才能准确确定3D手腕旋转。第二种变体则结合了身体特征与手部全局平均池化（GAPed）特征来进行3D手腕旋转预测。
| Settings | PA MPVPE (Hands) |
| With body features | 12.3 |
| Without body features (Ours) | 10.8 |
Table 2. Comparison of hands PA MPVPEs, obtained by models that predict 3D finger rotations with and without the coarse hand information, on EHF.
| Inputs for 3D joint rotations | PA MPVPE (All) |
| GAP feat. | 54.8 |
| Joint feat. | 52.2 |
| 2D joint coord. | 55.8 |
| 3D joint coord. | 54.3 |
| 3D joint coord. + joint feat. (Ours) | 50.3 |
Table 3. Comparison of whole-body PA MPVPEs, obtained by models that take various input combinations for the 3D joint rotation prediction, on EHF.
这种结合方式类似于PIXIE的方法[^5]。手部GAP特征是通过对HandNet的ResNet输出进行GAP操作得到的。但即便如此，其预测的3D手腕旋转精度仍不如我们的方法，这说明手部GAP特征未能捕捉到3D手腕旋转的关键信息。第三种变体结合了身体特征、3D关节坐标以及两只手的所有关节特征来预测3D手腕旋转。不过其结果仍逊于我们的方法，因为考虑到人体共有25个关节，两只手的所有关节特征（即40个手指关节）包含了太多不必要的信息。从解剖学角度来看，如图1所示，两只手的8个掌指关节才是影响3D手腕旋转的主要因素，而其他手指关节往往会随着3D身体关节的旋转而独立运动。我们的Hand4Whole通过结合身体特征和掌指关节特征，实现了最低的3D误差并精准预测3D手腕旋转。
---
| Methods | PA MPVPE | MPVPE |
| All | Hands | Face | All | Hands | Face |
| ExPose [^4] | 54.5 | 12.8 | 5.8 | 77.1 | 51.6 | 35.0 |
| FrankMocap [^25] | 57.5 | 12.6 | - | 107.6 | 42.8 | - |
| PIXIE [^5] | 55.0 | 11.1 | 4.6 | 89.2 | 42.8 | 32.7 |
| Hand4Whole (Ours) | 50.3 | 10.8 | 5.8 | 76.8 | 39.8 | 26.1 |
| Table 4. 3D errors comparison on EHF. |
| Methods | PA MPVPE | MPVPE |
| All | Hands | Face | All | Hands | Face |
| ExPose [^4] | 88.0 | 12.1 | 4.8 | 219.8 | 115.4 | 103.5 |
| FrankMocap [^25] | 90.6 | 11.2 | 4.9 | 218.0 | 95.2 | 105.4 |
| PIXIE [^5] | 82.7 | 12.8 | 5.4 | 203.0 | 89.9 | 95.4 |
| Hand4Whole (Ours) | 73.2 | 9.7 | 4.7 | 183.9 | 72.8 | 81.6 |
Table 5. 3D errors comparison on AGORA.
去除用于3D手指旋转预测的身体特征。表2显示，去除身体特征后3D手指旋转效果反而更好。采用身体特征的设置与以往的研究类似[^5] [^34]。由于PA MPVPE是在旋转对齐之后计算的，对齐后的输出几乎能正确反映3D手腕旋转情况。因此，大部分的3D误差源自3D手指部分。为了分析身体特征对3D手指旋转的影响，我们设计了一个变体：让HandNet利用从身体特征中获取的手部区域信息这类粗略的手部信息。为提取这些粗略的手部信息，我们使用预测出的手部边界框，对BodyNet的ResNet中第一个残差块的输出执行RoIAlign操作[^9]。随后，将RoIAlign的输出以逐元素的方式加到HandNet的ResNet第一个残差块中。之所以去除身体特征后3D手指旋转效果更好，是因为身体特征中的粗略手部信息包含大量不必要的内容，比如身体和背景信息，而且由于手部分辨率较低，其中几乎不含手指相关信息。这些不必要的信息会干扰HandNet的手部特征，因此像3D纯手部重建方法那样仅使用HandNet提供的手部特征[^2] [^17] [^35]，就能得到更好的3D手指旋转结果。
关节特征的有效性。表3表明，我们提出的Pose2Pose模型所用的关节特征比以往的GAPed特征优势明显[^4] [^5] [^25]。此外，像我们这样将关节特征与3D关节坐标相结合，能得到最佳结果。为了验证这一点，我们设计了四种变体，它们采用不同的特征组合来预测3D身体和手部关节旋转。第一种和第二种变体分别采用GAP特征向量和关节特征。GAP特征是通过对ResNet输出执行GAP操作得到的。由于GAP会忽略空间域信息，因此该特征向量会丢失详细的人体关节活动信息。相比之下，我们的关节特征通过插值人体关节位置来保留这些详细的关节活动信息，这对精准的3D
| Methods | MPJPE | PA MPJPE |
| $^{{*}}$ Body-only methods |
| HMR [^14] | 130.0 | 81.3 |
| SPIN [^16] | 96.9 | 59.2 |
| Pose2Mesh [^3] | 88.9 | 58.3 |
| I2L-MeshNet [^20] | 93.2 | 57.7 |
| ROMP [^28] | 91.3 | 54.9 |
| $^{{*}}$ Whole-body methods |
| ExPose [^4] | 93.4 | 60.7 |
| FrankMocap [^25] | - | 61.9 |
| PIXIE [^5] | - | 61.3 |
| Hand4Whole (Ours) | 86.6 | 54.4 |
| Table 6. 3D body error comparison on 3DPW. |
| Methods | PA errors | F scores |
| $^{{*}}$ Hand-only methods |
| FreiHAND [^36] | 10.7 / - | 0.529 / 0.935 |
| Pose2Mesh [^3] | 7.8 / 7.7 | 0.674 / 0.969 |
| I2L-MeshNet [^20] | 7.6 / 7.4 | 0.681 / 0.973 |
| METRO [^18] | 6.7 / 6.8 | 0.717 / 0.981 |
| $^{{*}}$ Whole-body methods |
| ExPose [^4] | 11.8 / 12.2 | 0.484 / 0.918 |
| Zhou et al. [^34] | - / 15.7 | - / - |
| FrankMocap [^25] | 11.6 / 9.2 | 0.553 / 0.951 |
| PIXIE [^5] | 12.1 / 12.0 | 0.468 / 0.919 |
| Hand4Whole (ResNet-18) | 8.6 / 8.6 | 0.621 / 0.962 |
| Hand4Whole (Ours) | 7.7 / 7.7 | 0.664 / 0.971 |
Table 7. 3D hand errors (PA MPVPE/PA MPJPE and F-score@5mm/15mm) comparison on FreiHAND.
关节旋转预测。第三和第四种变体分别采用2D和3D关节坐标。与第三种变体相比，第四种变体通过利用额外的深度信息实现了更低的PA MPVPE值。最后，我们结合3D关节坐标与关节特征以获得最佳结果。
#### 5.3. 与最先进方法的比较
EHF（全身评估基准）。表4显示，我们的Hand4Whole在EHF上的表现大幅优于以往所有全身方法。由于现有研究主要报告的是PA指标，我们便使用他们发布的代码和预训练权重来统计MPVPE值。
AGORA（全身评估基准）。表5显示，我们的Hand4Whole在AGORA上的表现大幅优于以往所有全身方法。我们使用他们发布的代码、预训练权重以及官方评估工具$^{2}$来获取所有数据。对于所有方法，我们均采用相同的人体边界框。
3DPW（仅人体评估基准）。表6显示，我们的Hand4Whole在3DPW上大幅优于以往所有全身方法，不过它稍逊于近期的仅人体方法。其在3D人体基准测试中的更优表现源于将3D关节坐标与关节特征相结合用于3D人体关节旋转预测；而以往所有全身方法均采用GAP特征来进行3D人体关节旋转预测。
---
Figure 6. Qualitative comparison of the proposed Hand4Whole, ExPose [^4], FrankMocap [^25], and PIXIE [^5]. Implausible 3D wrist rotations are highlighted.
尽管在3DPW数据集上，该方法的表现略逊于近期仅针对人体的方法，但在3D人体基准测试中的出色性能得益于3D关节坐标与关节特征的结合，这些特征被用于预测3D人体关节旋转。相比之下，以往的所有全身建模方法均采用GAP特征来预测3D人体关节旋转。
FreiHAND（仅手部评估基准）。表7显示，我们的Hand4Whole在FreiHAND上的表现大幅优于以往所有全身方法，不过它稍逊于近期的仅手部方法。由于FrankMocap并未公布其在FreiHAND上的结果，我们便使用他们发布的代码和预训练权重来获取相关结果。值得注意的是，即便按照ExPose的方法将手部分支的ResNet-50替换为ResNet-18，Hand4Whole仍能取得最佳结果[^4]。
MSCOCO（全身定性比较）。图6显示，与以往全身方法相比，我们的Hand4Whole能生成精度更高的3D手腕和手指旋转结果。
总体而言，Hand4Whole大幅优于以往所有全身方法，尤其能生成质量更好的3D手部结果。这些比较结果与消融实验的结果一致。
### 6. 结论
我们提出了Hand4Whole，这是一种全身3D人体网格估计系统，能在全身3D网格中生成质量更好的3D手部模型。Hand4Whole通过引入Pose2Pose技术，利用手部MCP关节特征来预测3D手腕旋转；此外，它在预测3D手指旋转时会摒弃人体特征。在所有基准测试中，Hand4Whole的表现都大幅优于以往的3D全身人体网格估计方法。
致谢。本研究部分得到了韩国政府（MSIT）资助的IITP项目支持[编号：2021-0-01343，人工智能研究生项目（首尔大学）]。
---
## 参考文献
[^1]: Mykhaylo Andriluka, Leonid Pishchulin, Peter Gehler, and Bernt Schiele. 2D human pose estimation: New benchmark and state of the art analysis. In CVPR, 2014. 5
[^2]: Adnane Boukhayma, Rodrigo de Bem, and Philip HS Torr. 3D hand shape and pose from images in the wild. In CVPR, 2019. 3, 7
[^3]: Hongsuk Choi, Gyeongsik Moon, and Kyoung Mu Lee. Pose2Mesh: Graph convolutional network for 3D human pose and mesh recovery from a 2D human pose. In ECCV, 2020. 3,7
[^4]: Vasileios Choutas, Georgios Pavlakos, Timo Bolkart, Dimitrios Tzionas, and Michael J Black. Monocular expressive body regression through body-driven attention. In ECCV, 2020. 1,2,3,5,7,8
[^5]: Yao Feng, Vasileios Choutas, Timo Bolkart, Dimitrios Tzionas, and Michael J. Black. Collaborative regression of expressive bodies using moderation. In 3DV, 2021. 1, 2, 3, 6, 7, 8
[^6]: Zhen-Hua Feng, Patrik Huber, Josef Kittler, Peter Hancock, Xiao-Jun Wu, Qijun Zhao, Paul Koppen, and Matthias Rätsch. Evaluation of dense 3D reconstruction from 2D face images in the wild. FG, 2018. 5
[^7]: Liuhao Ge, Zhou Ren, Yuncheng Li, Zehao Xue, Yingying Wang, Jianfei Cai, and Junsong Yuan. 3D hand shape and pose estimation from a single RGB image. In CVPR, 2019. 3
[^8]: Riza Alp Guler and Iasonas Kokkinos. HoloPose: Holistic 3D human reconstruction in-the-wild. In CVPR, 2019. 3
[^9]: Kaiming He, Georgia Gkioxari, Piotr Dollár, and Ross Girshick. Mask R-CNN. In ICCV, 2017. 5,7
[^10]: Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deep residual learning for image recognition. In CVPR, 2016. 3
[^11]: Catalin Ionescu, Dragos Papava, Vlad Olaru, and Cristian Sminchisescu. Human3.6M: Large scale datasets and predictive methods for 3D human sensing in natural environments. TPAMI, 2014. 5
[^12]: Sheng Jin, Lumin Xu, Jin Xu, Can Wang, Wentao Liu, Chen Qian, Wanli Ouyang, and Ping Luo. Whole-body human pose estimation in the wild. In ECCV, 2020. 1, 5
[^13]: Hanbyul Joo, Tomas Simon, and Yaser Sheikh. Total capture: A 3D deformation model for tracking faces, hands, and bodies. In CVPR, 2018. 3
[^14]: Angjoo Kanazawa, Michael J Black, David W Jacobs, and Jitendra Malik. End-to-end recovery of human shape and pose. In CVPR, 2018. 3, 7
[^15]: Diederik P Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In ICLR, 2014. 5
[^16]: Nikos Kolotouros, Georgios Pavlakos, Michael J Black, and Kostas Daniilidis. Learning to reconstruct 3D human pose and shape via model-fitting in the loop. In ICCV, 2019. 3, 5, 7
[^17]: Dominik Kulon, Riza Alp Guler, Iasonas Kokkinos, Michael M Bronstein, and Stefanos Zafeiriou. Weakly-supervised mesh-convolutional hand reconstruction in the wild. In CVPR, 2020. 3, 7
[^18]: Kevin Lin, Lijuan Wang, and Zicheng Liu. End-to-end human pose and mesh reconstruction with transformers. In CVPR, 2021. 3,7
[^19]: Gyeongsik Moon, Hongsuk Choi, and Kyoung Mu Lee. NeuralAnnot: Neural annotator for 3D human mesh training sets. In CVPRW, 2022. 5
[^20]: Gyeongsik Moon and Kyoung Mu Lee. I2L-MeshNet: Image-to-Lixel prediction network for accurate 3D human pose and mesh estimation from a single RGB image. In ECCV, 2020. 3, 7
[^21]: Lea Muller, Ahmed AA Osman, Siyu Tang, Chun-Hao P Huang, and Michael J Black. On self-contact and human pose. In CVPR, 2021. 3
[^22]: Adam Paszke, Sam Gross, Soumith Chintala, Gregory Chanan, Edward Yang, Zachary DeVito, Zeming Lin, Alban Desmaison, Luca Antiga, and Adam Lerer. Automatic differentiation in pytorch. 2017. 5
[^23]: Priyanka Patel, Chun-Hao P. Huang, Joachim Tesch, David T. Hoffmann, Shashank Tripathi, and Michael J. Black. AGORA: Avatars in geography optimized for regression analysis. In CVPR, 2021. 5
[^24]: Georgios Pavlakos, Vasileios Choutas, Nima Ghorbani, Timo Bolkart, Ahmed AA Osman, Dimitrios Tzionas, and Michael J Black. Expressive body capture: 3D hands, face, and body from a single image. In CVPR, 2019. 1, 3, 4, 5
[^25]: Yu Rong, Takaaki Shiratori, and Hanbyul Joo. FrankMocap: A monocular 3d whole-body pose estimation system via regression and integration. In ICCV Workshop, 2021. 1, 2, 3, 7, 8
[^26]: Soubhik Sanyal, Timo Bolkart, Haiwen Feng, and Michael J Black. Learning to regress 3D face shape and expression from an image without 3D supervision. In CVPR, 2019. 3
[^27]: Xiao Sun, Bin Xiao, Fangyin Wei, Shuang Liang, and Yichen Wei. Integral human pose regression. In ECCV, 2018. 3, 4
[^28]: Yu Sun, Qian Bao, Wu Liu, Yili Fu, Black Michael J., and Tao Mei. Monocular, one-stage, regression of multiple 3d people. In ICCV, 2021. 3, 7
[^29]: Timo von Marcard, Roberto Henschel, Michael J Black, Bodo Rosenhahn, and Gerard Pons-Moll. Recovering accurate 3D human pose in the wild using IMUs and a moving camera. In ECCV, 2018. 5
[^30]: Donglai Xiang, Hanbyul Joo, and Yaser Sheikh. Monocular Total Capture: Posing face, body, and hands in the wild. In CVPR, 2019. 3
[^31]: Bin Xiao, Haiping Wu, and Yichen Wei. Simple baselines for human pose estimation and tracking. In ECCV, 2018. 5
[^32]: Hongyi Xu, Eduard Gabriel Bazavan, Andrei Zanfir, William T Freeman, Rahul Sukthankar, and Cristian Sminchisescu. GHUM & GHUML: Generative 3D human shape and articulated pose models. In CVPR, 2020. 3
[^33]: Yi Zhou, Connelly Barnes, Jingwan Lu, Jimei Yang, and Hao Li. On the continuity of rotation representations in neural networks. In CVPR, 2019. 5
## [^34]: Yuxiao Zhou, Marc Habermann, Ikhsanul Habibie, Ayush Tewari, Christian Theobalt, and Feng Xu. Monocular real-time full body capture with inter-part correlations. In CVPR, 2021. 1, 2, 3, 6, 7
---
[^35]: Yuxiao Zhou, Marc Habermann, Weipeng Xu, Ikhsanul Habibie, Christian Theobalt, and Feng Xu. Monocular real-time hand shape and motion capture using multi-modal data. In CVPR, 2020. 3, 7
[^36]: Christian Zimmermann, Duygu Ceylan, Jimei Yang, Bryan Russell, Max Argus, and Thomas Brox. FreiHAND: A dataset for markerless capture of hand pose and shape from single RGB images. In ICCV, 2019. 5, 7