# 用于手臂-手部动态估计的时空并行变换器 刘舒颖 $^{*}$、吴文斌 $^{*}$、吴佳贤、林月 网易游戏AI实验室，中国广州 {liushuying, wuwenbin02, wujiaxian, gzlinyue}@corp.netease.com ![Image](images/0e51a1a4e1e48cc1afd3e666e638c3a4b8097bb615a1eb409e869022f62a313f.jpg)
Figure 1. We propose Spatial-Temporal Parallel Transformer to estimate arm and hand dynamics from monocular video by utilizing the arm-hand correlation as well as the temporal information. Row 1: Input video frames. Row 2: Estimated arm and hand dynamics of our method. The proposed method shows robustness under various challenging scenarios.
## 摘要 我们提出了一种利用手臂与手部之间关系，从单目视频中估计手臂和手部动态的方法。尽管近年来单目全身运动捕捉技术取得了巨大进展，但从自然场景视频中恢复准确且合理的手臂扭转和手部姿态仍然是一项挑战。为解决这一问题，我们的方案基于这样一个事实：在大多数实际场景中，手臂姿态与手部姿态高度相关。为了充分利用手臂与手部的相关性以及帧间信息，我们精心设计了时空并行手臂-手部运动变换器（PAHMT），以同时预测手臂和手部动态。我们还引入了新的损失函数，以确保估计结果平滑且准确。此外，我们收集了一个包含20万帧手部姿态的运动捕捉数据集，并用这些数据训练模型。通过整合2D手部姿态估计模型和3D人体姿态估计模型，所提出的方法能够从单目视频中生成合理的手臂和手部动态。大量实验表明，该方法相较于以往的最先进方法具有优势，且在各种具有挑战性的场景下均表现出较强的鲁棒性。 应用场景。 ### 1. 引言 人类手臂-手部动态是全身运动捕捉的重要组成部分，也可用于人机交互界面的控制。然而，尽管已有一些方法用于捕捉包括手部姿态在内的全身运动 [^30] [^33] [^40] [^45] [^47]，但其中大多数方法并未考虑手臂与手部之间的相关性，将人体运动捕捉和姿态估计视为两个独立的任务，导致在具有挑战性的场景下预测结果不准确。周等人 [^47] 提出通过考虑身体与手部的相关性来学习人体运动，但这种相关性仅被用于预测2D手部关键点和3D身体关键点，身体和手部的最终运动仍由不同模型分别学习。吴等人 [^29] 提出利用身体与手部的相关性来估计交谈时的手部姿态，但该方法仅限于交谈姿态预测领域，无法生成手臂运动。 在本文中，我们聚焦于从单目视频中捕捉准确且合理的手臂-手部动态这一任务。具体而言，我们引入了时空并行手臂-手部运动变换器（PAHMT），以充分利用手臂与手部的相关性及帧间信息。 --- 我们首先利用轻量级的手部关键点检测器来估计二维手部关键点，利用三维人体关键点估计器来估计三维手臂关键点，这些结果将作为模型的输入。PAHMT主要由空间变换器和时间变换器组成。空间变换器负责提取空间特征，即手臂与手之间的全局相关性以及不同关节间的局部相关性；而时间变换器则用于利用帧间信息。此外，我们引入了两种损失函数，以确保预测结果既平滑又准确。为了训练所提出的模型，我们收集了一个包含20万帧人体运动（包括手势）的数据集。其中大部分序列为舞蹈或体育动作，涵盖了大量的手臂运动和手势。实验表明，即使在遮挡或运动模糊等复杂场景下，该模型也能给出合理可靠的手臂-手部动态估计结果。 我们的贡献可总结如下： - 我们提出利用手臂与手之间的相关性来同时捕捉手臂和手部的动态变化。借助这种相关性，所提出的模型能够合理估计手臂扭转和手势动作； • 大量实验结果表明，所提出的方法优于现有的最先进方法，且在各种复杂场景下均表现出较强的鲁棒性。 - 我们设计了一种时空并行变换器模型，以充分利用手臂与手的相关性以及帧间信息，从而提升预测的鲁棒性；此外，我们引入了两种损失函数，以确保预测结果平滑且准确； ### 2. 相关工作 在基于视觉观测来建模人体姿态或动态运动方面已取得显著进展[^6] [^7] [^11] [^24] [^31] [^34] [^41] [^44] [^46]。以往的研究通常将完整的人体运动捕捉任务划分为三个独立的子任务：面部表情捕捉、身体运动捕捉和手势捕捉。由于我们的研究重点是捕捉手部和手臂（属于身体的组成部分）的动态变化，因此仅介绍以下相关内容。 #### 2.1. 手部姿态估计 二维手部姿态估计。此前的一些研究致力于构建强大的数据集。Simon等人[^35]提出了一个具有几何一致性标注的手部关键点数据集，即便对于被遮挡的手部区域也会提供标注。利用该数据集训练出的手部关键点检测器，其性能可与采用RGB-D输入的现有最先进手部关键点检测器相媲美。为了获取更多训练数据，一些研究人员提出先合成三维手部数据，再利用GAN将其转换为真实图像风格[^28] [^37]。在网络架构设计方面也有不少探索。Wang等人[^39]提出了一种名为SRHandNet的新型架构，可用于从单目RGB图像中实时估计二维手部姿态，该架构的运行速度可达40FPS，且能达到具有竞争力的精度。Zimmermann等人[^49]则提出了一种包含四个不同网络流的结构，以实现对手部关节的全面估计。 3D手部姿态估计。大多数最先进的方法通过从单张RGB图像中恢复手部网格或回归手部坐标来预测3D手部姿态。Zhou等人[^48]利用估计出的运动链来估算MANO[^32]系数，并开发了一个逆向运动学网络来优化预测的手部姿态。Chen等人[^5]提出了一种相机空间网格恢复框架，用于在以相机为中心的空间中恢复3D手部网格。Kolotouros等人[^20]通过训练图卷积网络直接回归网格顶点的3D坐标。另一方面，一些研究人员研究了如何基于单目视频实现手部姿态估计。Chen等人[^4]利用视频的时间一致性来解决因训练数据中缺乏3D关节标注而产生的不确定性。除了将时间序列作为输入外，Ng等人[^29]还提出了一种用于对话手势领域中3D手部形状合成与估计的新型深度先验人体运动模型。 #### 2.2. 人体姿态估计 预测3D关节位置。以往大多数预测3D人体关节位置的尝试都以2D人体关键点作为输入，并训练模型学习2D到3D的映射[^11] [^24] [^31] [^41] [^44]。其中一些研究以单帧的2D人体姿态作为输入[^11] [^41]，而更多研究则考虑帧间信息，使用一系列2D关键点作为输入[^24] [^31]。还有一些方法训练模型直接从视觉输入中估算3D关节位置[^6] [^7]。然而，这些方法存在一个共同问题：当目标是捕捉人体骨骼运动时，无法从3D关节位置准确恢复3D骨骼旋转，也就是说，扭转分量无法通过关节位置来确定。 预测3D关节旋转。以往的大多数研究都利用参数化人体模型来表示姿态，例如SMPL[^25]、ADAM[^15]。这类研究的基本流程[^16]是训练模型来预测SMPL模型的参数，从而使输入图像上投影出的2D关节能与2D姿态估计器检测到的2D关节相匹配[^3] [^10] [^23] [^42]。同时，引入判别器来引导模型生成逼真的3D姿态。[^17] [^18]对基线解决方案[^16]进行了扩展，以实现更平滑的重建—— --- 针对视频输入的结果。Nikos等人[^19]提出在CNN模型之后加入一个优化过程[^2]。不过，如果没有高质量的<图像，运动>配对数据，这些方法就无法直接利用动作捕捉数据，也就是说，动作捕捉数据总是用于训练GAN部分。因此，与直接预测关节位置的方法相比，这些方法的关节位置误差更大。 #### 2.3. 全身动作捕捉 还有一些研究致力于捕捉完整的人体运动 [^15] [^30] [^33] [^40] [^47]。Rong等人 [^33] 提出通过结合多种现有技术来捕捉完整的人体运动。Zhou等人 [^47] 利用身体与手部的相关性来训练网络，以预测2D手部关键点和3D身体关键点，但手部和身体的关键点会被分别输入到不同的模型中以用于人体运动建模。而SMPLify-X [^30] 则是一种优化过程，其目标是找到一组能够最佳匹配2D关键点的SMPL-X模型参数。 ### 3. 方法论 我们的工作目标是从单目视频中捕捉手臂和手部的动态。需要注意的是，一些研究者将人体关节位置作为人体姿态，而另一些则使用骨骼旋转来表示人体姿态。在本研究中，我们主要侧重于训练模型来估计手臂和手部的旋转。直接学习图像到旋转的映射关系十分困难；同时，学习这种映射需要带有对应视频帧的运动捕捉数据，而这很难获取。因此，我们将该任务拆解为两个子任务，即关键点估计任务和骨骼旋转估计任务。本研究的整体流程如图2所示。在关键点估计模块中，分别训练两个模型来预测2D手部关键点和3D身体关键点。随后，旋转估计模块会将预测的2D手部关键点和3D手臂关键点（由3D身体关键点推导得出）作为输入，训练模型以学习手臂和手部的3D旋转。接下来我们将简要介绍关键点估计模块，并详细阐述旋转估计模块的内容。 #### 3.1. 问题定义 该系统 $\mathcal{F}$ 的目标是根据视觉观测I来捕捉手臂和手部Y的旋转。 $$ \mathbf{Y}=\mathcal{F}(\mathbf{I}) $$ 该系统被拆分为两个子模块，即关键点估计模块K和旋转估计模块R。 $$ \mathbf{K}=\boldsymbol{\mathcal{K}}(\mathbf{I}) $$ $$ \mathbf{Y}=\mathcal{R}(\mathbf{K}) $$ 其中 $\mathbf{Y} = \{y_0, y_1, ..., y_t, ..., y_T\}$、$\mathbf{K} = \{k_0, k_1, ..., k_t, ..., k_T\}$、$\mathbf{I} = \{i_0, i_1, ..., i_t, ..., i_T\}$、$\mathbf{y}_t \in \mathbb{R}^{48 \times 3}$ 表示时间t时手臂和手部的3D旋转，采用3D轴角形式表示；$\mathbf{k}_t \in \mathbb{R}^{4 \times 3 + 42 \times 2}$ 表示时间t时手臂关节的3D局部位置和手部的2D像素坐标；$i_t$ 表示时间t时的输入图像帧。 与全身逆运动学 [^27] [^43] 的区别：全身逆运动学（FBIK）是一种优化过程，旨在调整骨骼运动以匹配3D关节。因此FBIK需要精确的3D手部关键点和身体关键点，不准确的3D关键点可能会导致不合理的结果。然而，从RGB图像中获取精确的3D手部关键点比获取精确的2D手部关键点要困难得多；此外，逐帧进行的IK处理可能会导致结果出现较大抖动。相比之下，我们的解决方案无需依赖3D手部关键点，就能从视频输入中生成平滑且合理的结果。 #### 3.2. 关键点估计模块 2D手部关键点估计。为了高效获取精确的2D手部关键点，我们首先根据检测到的2D腕关节来裁剪手部区域的图像，再将其输入到我们的网络中。该模型的骨干网络基于Mobilenetv3 [^13] 架构。模型通过L2损失函数拟合真实概率图。该模块的详细配置可在补充材料中找到。 三维人体关键点估计。我们采用在AMASS数据集上训练的VPose3D模型[^31] [^26]来获取三维人体关键点，并将手臂关键点作为旋转估计模块的输入。 #### 3.3. 旋转估计模块 为了充分利用时间信息以更好地捕捉手臂和手部的动态变化，我们的模型将一系列关键点作为输入。由于Transformer在各种序列到序列任务中已被证明具有高效性[^22] [^36] [^38]，因此我们基于Transformer架构设计了该网络。 手臂-手部运动Transformer。我们采用一种名为手臂-手部运动Transformer（AHMT）的时间Transformer作为基线。输入姿态序列的处理方式与自然语言处理应用中的词元（单词）类似[^22] [^36] [^38]。为了将每个词元映射到高维空间，我们设计了一个由两层卷积层组成的姿态嵌入模块E。 --- ![Image](images/1de8dbf5e0bef1d58a9aeece1636961586a7de472b73395b11251f5c0ef16667.jpg)
Figure 2. Overall pipeline of our method. The whole pipeline consists two modules, the key-point estimation module and the rotation estimation module. The key-point estimation module consists of a 2D hand key-point detector and a 3D body key-point estimator. The rotation estimation module consists of a carefully designed transformer-based network, which takes a sequence of 2D hand key-points and 3D arm joints as input, and gives a output prediction of arm-hand dynamics. Additionally, a discriminator is used to guide the network for plausible results.
此外，位置嵌入$E_{t_{pos}}$用于保留序列的位置信息。给定一个输入序列，我们Transformer的输入词元可表示如下： $$ \mathbf{z_{t}}_{0}=\left[\mathbf{x}_{t}^{1}\mathbf{E};\mathbf{x}_{t}^{2}\mathbf{E};\cdots;\mathbf{x}_{t}^{f}\mathbf{E}\right]+\mathbf{E_{t_{pos}}} $$ 其中$X_t = [x_t^1; x_t^2; ...; x_t^f]$为输入序列；$\mathbf{E} \in \mathbb{R}^{(J \cdot 3) \times D_t}$为姿态嵌入模块；$\mathbf{E}_{\text{topos}} \in \mathbb{R}^{f \times D_t}$为位置嵌入。J表示包括手臂和手部在内的关节总数。训练时f设为32；$D_t = 512$是我们Transformer的恒定隐向量大小。 接着，我们采用标准的Transformer编码器来从这些高维特征中提取时间信息，该编码器由多头自注意力（MSA）和多层感知机（MLP）块交替组成（公式5、6）。我们在每个块之前应用层归一化（LN），在每个块之后添加残差连接。我们的Transformer编码器的处理过程可表示为： $$ \mathbf{z}_{\mathbf{t}}^{\prime}{}_{\ell}=\mathrm{M S A}\left(\mathrm{L N}\left(\mathbf{z}_{\mathbf{t}\ell-1}\right)\right)+\mathbf{z}_{\mathbf{t}\ell-1},\ell=1\ldots L_{t} $$ $$ \mathbf{z}_{\mathbf{t}\ell}=\mathrm{M L P}\left(\mathrm{L N}\left(\mathbf{z}_{\mathbf{t}}^{\prime}\mathbf{\Sigma}_{\ell}\right)\right)+\mathbf{z}_{\mathbf{t}\ell}^{\prime},\ell=1\ldots L_{t} $$ 其中$L_{t}$表示Transformer编码器的层数，$\mathbf{z}_{\mathbf{t}, L_{t}}$是Transformer编码器的最后输出。 最终，手臂-手部旋转由包含三层卷积层的回归头进行回归预测。我们可以得到输出y如下： $$ \mathbf{y}=\operatorname{R e g r e s s i o n H e a d}\left(\mathbf{z}_{\mathbf{t}_{L_{t}}}\right) $$ 时空并行手臂-手部运动Transformer。AHMT基线主要侧重于从输入序列中提取时间特征。然而，我们认为空间信息——即不同关节之间的运动学信息以及手臂与手部之间的相关性——与时间信息同样重要。因此，我们设计了并行手臂-手部运动Transformer（PAHMT）网络来融合空间和时间信息。如图2所示，PAHMT主要由两个核心组件构成：空间Transformer和时间Transformer。空间Transformer的目标是提取手臂姿态与手势之间的全局相关性，以及不同关节间的局部相关性。对于输入序列，我们将每一帧数据（即手臂的3D方向向量和手部的2D坐标）视为一个标记，并将该序列$X_t \in \mathbb{R}^{f \times (J \cdot 3)}$重塑为$X_s \in \mathbb{R}^{f \times J \times 3}$（公式8）。我们对手部的2D位置进行零填充，即$(x, y) \to (x, y, 0)$。由于不同帧间既需要保留全局空间相关性（例如挥动手臂总会带动手部动作），也需要保留局部空间相关性（例如中指与无名指的运动高度相关），因此我们在序列中加入了额外的可学习“回归标记”（$z_{s0}^0$）；该标记在空间Transformer编码器输出时的状态（$z_{sL_s}^0$）便作为空间表征，这一做法类似于ViT中提出的“分类标记”[^9]。随后，每个标记会被送入卷积层，并与可学习的位置嵌入相加。得到的向量序列再被送入Transformer编码器。时间Transformer的结构与AHMT相同（公式4、5、6、7）。 --- 正式来说，我们有： $$ \mathbf{X}_{\mathbf{s}}=\operatorname{Reshape}\left(\mathrm{X_{t}}\right) $$ $$ \mathbf{z_{s}}_{0}=\left[\mathbf{x}_{regress};\mathbf{x}_{s}^{1}\mathbf{E};\mathbf{x}_{s}^{2}\mathbf{E};\cdots\mathbf{;x}_{s}^{N}\mathbf{E}\right]+\mathbf{E_{spos}} $$ $$ \mathbf{z_{s}}^{\prime}_{\ell}=\mathrm{MSA}\left(\mathrm{LN}\left(\mathbf{z_{s\ell-1}}\right)\right)+\mathbf{z_{s\ell-1}},\ell=1\ldots L_{s} $$ $$ \mathbf{z}_{\mathbf{s}\ell}=\operatorname{M L P}\left(\operatorname{L N}\left(\mathbf{z}_{\mathbf{s}}^{\mathbf{\beta}^{\prime}\ell}\right)\right)+\mathbf{z}_{\mathbf{s}\ell}^{\mathbf{\beta}^{\prime}},\ell=1\ldots L_{s} $$ 其中$N = 48$与J取值相同，代表包括手臂和手部在内的总关节数。$\mathbf{E} \in \mathbb{R}^{3 \times D_s}$是空间Transformer的姿态嵌入模块，$\mathbf{E}_{\mathbf{s}_{\text{pos}}} \in \mathbb{R}^{N \times D_s}$是可学习的位置编码，$D_s = 64$是我们空间Transformer的恒定潜向量维度，$L_s$则是空间Transformer编码器层的层数。 由于关节间的关系需要在不同帧间得以保留，因此仅将空间Transformer的输出（$z_{s,L_{s}}^{0}$）作为空间表征。最终，我们通过逐元素相加的方式将空间特征与时间特征融合，再将它们送入回归头以完成最终预测（公式12）。 $$ \mathbf{y}=\operatorname{R e g r e s s i o n H e a d}\left(\mathbf{z_{t}}_{L_{t}}+\mathbf{z_{s}}_{L_{s}}^{0}\right) $$ #### 3.4. 训练 在本节中，我们将讨论旋转估计模块的训练细节。 预处理：对2D手部关键点进行归一化处理。具体而言，首先用腕关节的坐标减去手部关键点的坐标，再根据对应手部的边界框进行归一化。对于无法检测到手部的帧，则采用前一帧的关键点数据；如果检测器在第一帧就无法检测到手部，我们就将第一帧的关键点设为零向量。考虑到预测的3D骨骼关节可能具有不同的骨长，对于手臂的3D关节而言，上臂与前臂的方向向量会被用作输入。 目标函数：如图2所示，旋转估计模块的目标函数由两部分组成。其一是重建损失，用于引导生成器拟合手臂和手部的真实旋转结果；其二是判别器D引入的GAN损失[^12]。因此，完整的目标函数可表示为： $$ \min_{\mathcal{R}}\max_{\mathcal{D}}\mathfrak{L}_{recon}(\mathcal{R})+\lambda\mathfrak{L}_{GAN}(\mathcal{R},\mathcal{D}) $$ 其中 $\mathfrak{L}_{GAN}$ 是GAN损失的基本形式，而 $\lambda$ 是该损失的权重。$\mathfrak{L}_{GAN}$ 可以表述为： $$ \begin{array}{r}{\mathfrak{L}_{G A N}(\mathcal{R},\mathcal{D})=\mathbb{E}[\log(\mathcal{D}(\mathbf{Y}))]+\mathbb{E}[\log(1-\mathcal{R}(\mathbf{K}))]}\end{array} $$ 而 $\mathfrak{L}_{recon}$ 由三个部分组成。最基本的部分是L1损失，即： $$ \mathfrak{L}_{L1}(\mathcal{R})=\|\mathcal{R}(\mathbf{K})-\mathbf{Y}\|_{1} $$ 该模块的一个目标是生成平滑的序列结果。因此采用了平滑损失，它可被视为帧间差异的正则化项，即： $$ \begin{array}{r}{\mathfrak{L}_{s m o o t h}(\mathcal{R})=\sum_{t=1}^{T}\left\|\mathcal{R}(k_{t})-\mathcal{R}(k_{t-1})\right\|_{1}}\end{array} $$ 值得注意的是，不同关节的旋转在表示姿态时的重要性各不相同。父关节的旋转误差会传递到所有子关节，这使得父关节的旋转比子关节的旋转更为重要。考虑到这一点，我们引入了FK损失。我们首先通过预定义角色骨骼的正向运动学函数 $k_i^*$ $\mathcal{FK}$ 来计算关节位置 [^21]，随后计算真实关节位置 $k_i^*$ 与预测关节位置 $k_i$ 之间的L2损失。 $$ \mathfrak{L}_{F K}(\mathcal{R})=\|\mathcal{F K}(\mathcal{R}(\mathbf{K}))-\mathbf{K}^{*}\|_{2} $$ K $^{*}$ 表示手臂和手部的3D关键点，这些数据可从动作捕捉数据中获取。 最终，生成器的完整目标函数 $\mathfrak{L}_{recon}$ 可定义如下： $$ \pmb{\mathfrak{L}}_{r e c o n}=\pmb{\mathfrak{L}}_{L1}+\gamma\pmb{\mathfrak{L}}_{s m o o t h}+\beta\pmb{\mathfrak{L}}_{F K} $$ ### 4. 实验 我们通过大量实验分析了所提出方法的性能。我们进行了消融研究以验证该方法各个组成部分的有效性，并与最先进的方法进行定量及感知层面的比较，以证明我们方法的优势。 #### 4.1. 数据集 我们的动作捕捉数据集：尽管有一些公开可用的动作捕捉数据集 [^14] [^26]，但身体动作数据与手部动作数据往往分别采集。我们仍然缺乏完整人体动作的数据集。因此，我们使用动作捕捉设备收集了完整人体动作数据集。具体而言，我们收集了500段完整人体动作数据序列，总帧数达到20万帧。该数据集主要包含舞蹈或体育类动作序列，涵盖了大量的身体动作和手势类型。我们手动将数据集划分为训练集（90%）和测试集（10%）。我们在测试集上进行消融研究。该数据集的样本详见补充材料。 --- 野外3D人体及手势数据集（BH数据集）：为了与最先进的手势估计器 [^29] 进行比较，我们在作者发布的该数据集 [^29] 上开展实验。该数据集包含了8名说话者的数小时野外视频，涵盖了多种手势类型。 渲染的完整人体动作数据集：虽然我们已经拥有完整的人体动作捕捉数据，但仍缺乏带有完整人体动作标注的野外数据。因此，我们提出了一种用于模拟野外场景的渲染数据集。具体来说，我们将1万帧完整人体动作捕捉数据重新定位到MIX-AMO中的3个角色模型上 [^1]。我们在该数据集上将我们的方法与最先进的完整人体动作捕捉方法 [^8] [^33] 进行比较。该数据集的样本详见补充材料。 #### 4.2. 实现细节 我们首先将所有骨骼运动序列重新定位到MIXAMO角色模型[^1]上。接着，我们获取各关节在世界坐标系中的旋转（轴角表示）和三维位置。为了生成训练数据，我们将手部的三维位置投影到二维相机平面，从而得到手的二维像素坐标。我们对每个运动序列采用大小为32、步长为5帧的滑动窗口，最终生成3万条训练序列。我们使用Adam优化器训练网络，将批量大小、权重衰减和动量分别设为128、0.0005和0.95。初始学习率设为$1e^{-3}$，每训练50个轮次便将其降低50%。我们的模型共训练300个轮次。至于目标函数，我们根据经验将$\lambda$、$\beta$、$\gamma$分别设为0.05、1.0、1.0。 #### 4.3. 评估指标 由于我们的研究目标是从视觉输入中准确捕捉手臂和手的骨骼旋转，除了常用的平均关节位置误差（MPJPE，单位为米）外，我们还报告了平均关节旋转误差（MPJRE），该指标用于衡量预测的关节旋转与真实关节旋转之间的平均绝对差异。值得注意的是，通过逆向运动学算法[^27] [^43]，可以从准确的手部三维关节恢复出准确的手部旋转；而手臂旋转则无法从三维手臂关节中准确还原。因此，我们采用以下指标来评估性能：1）整体MPJPE；2）手部MPJPE；3）手臂MPJRE。 #### 4.4. 对比方法 首先，我们进行消融实验，以评估该方法中各个组成部分在估计手臂和手运动时的贡献。其次，我们将该方法与几种最先进的方法[^8] [^29] [^33]进行对比。需要注意的是，我们的方法能够同时预测手臂和手的运动（旋转）；但由于缺乏同时包含手臂和手旋转标注的公开数据集，我们无法在现有基准测试中对手臂和手的旋转进行全面的对比。因此，我们仅报告在作者发布的数据集上，我们的方法与Body2Hands[^29]在手部姿态估计方面的性能对比结果。此外，我们还在自己渲染的数据集上与其他方法对比，以评估整体的手臂-手部动力学表现。我们还会展示我们的方法与最先进方法在一些自然场景视频上的结果，以便进行感知评估。具体对比的方法如下： - Body2Hands（有无图像[^29]）：一种基于学习的身体运动先验的最先进的3D手部形状合成与估计方法。由于预训练模型不可用，我们按照作者发布的代码重新训练了模型。 • Body2Hands $^{*}$ [^29]：原始的Body2Hands模型以MTC[^40]的输出作为输入来预测手部旋转。但在我们的实验中并未提供MTC的输出，因此我们重新训练了一个结构与原始版本相同的Body2Hands模型，该模型以三维身体关节和二维手部关键点作为输入。我们将这个重新训练的Body2Hands版本称为Body2Hands $^{*}$。 - ExPose [^8]：一种最先进的全身姿态估计方法，包括手势估计，它可以直接从RGB图像中回归出身体、面部和手部的姿态。 • FrankMocap [^33]：这是一种用于全身姿态估计（包括手部手势估计）的先进方法，它利用了多种针对人体不同部位的姿态估计前沿解决方案。 - 我们的CNN：采用与Body2Hands [^29]相同的模型结构，通过所提出的目标函数进行训练；它以3D手臂关节和2D手部关键点作为输入，预测双臂和手部的旋转角度。 - 我们的AHMT：配置与我们的CNN相同，只是将网络架构替换为时序Transformer。 - 我们的PAHMT：配置与我们的CNN相同，只是将网络架构替换为我们精心设计的时空并行手臂-手部运动Transformer（PAHMT）。 ---
Table 1. Ablation study on different components of the proposed method. Evaluation is conducted on our motion capture dataset. We evaluate the overall MPJPE, MPJPE of hands and MPJRE of arms. Results indicate that each component shows positive impact on learning high quality arm and hand dynamics. h2h represents the models which take 2D hand key-points as input and predict hand gestures. ah2ah represents the models which take arm-hand key-points as input and predict arm-hand dynamics.
Architectureh2hah2ahSmooth LossFK LossMPJPE(hands) $\downarrow$MPJPE(overall) $\downarrow$MPJRE(arms) $\downarrow$
CNN✓✗✗✗0.0300--
CNN✗✓✗✗0.01300.05170.0604
CNN✗✓✓✗0.01330.05190.0603
CNN✗✓✗✓0.01290.04130.0579
CNN✗✓✓✓0.01270.04080.0577
AHMT✗✓✓✓0.00980.03160.0445
PAHMT✗✓✓✓0.00870.02740.0375
Table 2. Comparison with Body2Hands [^29] on dataset released by [^29]. We report MPJPE of hands for each method.
MethodMPJPE(hands) $\downarrow$
Body2Hands w/o image [^29]0.0422
Body2Hands w/ image [^29]0.0400
Body2Hands $^{*}$ [^29]0.0346
PAHMT(Ours)0.0281
Table 3. Comparison with state-of-the-art full body motion capture methods [^8] [^33] on our rendered dataset. We report overall MPJPE and MPJRE of arms for each method.
MethodMPJPE(overall) $\downarrow$MPJRE(arms) $\downarrow$
FrankMocap [^33]0.15560.2779
ExPose [^8]0.15300.2984
PAHMT(Ours)0.13750.1614
![Image](images/7b8c2c41c11369b6514512414c3fb45a0e7bfaa9d059eb4136ba7c39ab308b23.jpg)
Figure 3. Effectiveness of leveraging arm-hand correlations. (a): Input frame. (b): Results of ah2ah. (c): Results of h2h+IK. To compare the rotations of arms, we set the rotations of wrists to zeros in the bottom row of (b) and (c).
#### 4.5. 消融实验 为了评估所提出的PAHMT各个组成部分的重要性以及网络架构中不同超参数的影响，我们在自己的动作捕捉数据集上开展了大量实验。 基线设置。我们选择我们的CNN的网络架构作为基线架构。基线模型的目标函数中不包含$\mathfrak{L}_{smooth}$和$\mathfrak{L}_{FK}$。为了公平比较，所有实验中生成训练批次的随机种子均保持一致。我们采用Adam优化器，且所有实验中的批量大小、学习率、权重衰减和动量分别固定为128、1e-3、0.0005和0.95。 利用手臂-手部相关性的有效性。如表1所示，h2h（手部输入到手部输出）的表现不如ah2ah（手臂-手部输入到手臂-手部输出），这表明手部手势估计任务能从手臂-手部相关性中受益。图3直观地展示了利用手臂-手部相关性来同时预测手臂-手部动态的优势。为了证明ah2ah在预测手臂旋转方面的优越性，我们将ah2ah与h2h+IK [^43]（手部输入到手部输出，利用IK算法求解手臂旋转）进行比较。可以发现，ah2ah给出的手臂旋转预测结果比h2h+IK更合理。 PAHMT架构的有效性。表1展示了相关结果。通过更好地利用帧间信息，传统的时序Transformer（AHMT）的性能显著优于CNN（MPJPE和MPJRE误差均降低23%）。我们进一步研究了引入空间Transformer后的影响。通过利用手臂与手部之间的全局相关性以及不同身体关节间的局部相关性，我们的PAHMT进一步提升了AHMT的结果（MPJPE误差降低13%，MPJRE误差降低16%）。 所提出的目标函数的有效性。我们评估了 $\mathfrak{L}_{smooth}$ 和 $\mathfrak{L}_{FK}$ 的影响。表 1 显示了结果，$\mathfrak{L}_{FK}$ 在降低 MPJPE 和 MPJRE 方面都表现出优势。值得注意的是，$\mathfrak{L}_{smooth}$ 最初是为时间平滑性而设计的，而非用于降低误差，因此 $\mathfrak{L}_{smooth}$ 在独立使用时并未显示出降低误差的优势。然而，$\mathfrak{L}_{smooth}$ 也对精度提升做出贡献，当与 --- ![Image](images/8e8f6e8136d9c4f622a1fda756c9c871a620943a5811592c177a969ff4ea00c7.jpg)
Figure 4. Visual comparison with state-of-the-art methods [^8] [^33]. Row 1: In-the-wild video frames of various arm poses and hand gestures in challenging scenarios. Row 2: Results of FrankMocap [^33]. Row 3: Results of ExPose [^8]. Row 4: Results of our method. Despite occlusion and motion blur, our method produces accurate and plausible results.
$\mathfrak{L}_{FK}$ 集成时。 架构参数分析。我们研究了网络架构的不同参数以寻找最优设置。详细结果可在补充材料中查看。 #### 4.6. 与前沿方法的比较 表2展示了在BH数据集上的实验结果。为了公平比较，我们模型所用的输入3D关节数据源自MTC [^40]的输出。可以看出，我们的PAHMT方法显著优于Body2Hands方法 [^29]。需要注意的是，BH数据集是由MTC [^40]标注的，这意味着这些标签并非真实值。我们在补充材料中展示了该方法能生成比标注结果更合理、更平滑的结果。 表3展示了在渲染数据集上的实验结果，结果表明我们的方法在MPJPE和MPJRE两项指标上均显著优于现有的最先进全身动作捕捉方法 [^8] [^33]。值得注意的是，在预测手臂旋转方面，我们的方法明显优于现有方法，这或许表明我们的方法能更好地利用手臂与手部的关联性。 #### 4.7. 视觉对比 为了展示所提方法的优势，我们在自然场景视频上开展了实验，将其与ExPose [^8]及FrankMocap [^33]进行视觉对比。对比实验中，我们选用了包含手部清晰或难以识别的情况以及各种手臂姿态的自然场景视频进行评估。 图4展示了视觉对比结果。我们可以观察到，ExPose [^8]和FrankMocap [^33]都无法从手部不清晰的图像中预测出合理的手势，同时这两种最先进的方法也无法准确估计手臂的旋转角度。相比之下，即便在具有挑战性的场景下，我们的方法也能产生最准确、最合理的结果。更多结果可在补充视频中查看。 ### 5. 讨论 我们提出了一种利用手臂与手部运动之间的关联性，从单目视频中估计手臂和手部动态的新方法。为了充分利用帧间信息以及手臂与手部的关联性，我们提出了一种时空并行Transformer模型——PAHMT。为了获得平滑且准确的预测结果，我们设计了新的目标函数。大量实验证明了我们的方法相较于以往的最先进方法具有明显优势。不过该方法的局限性在于，训练模型时需要用到包含身体运动和手势的运动捕捉数据集。未来的工作可能包括利用更多身体部位的关联性来实现高质量的全身动态估计，以及利用不同身体部位标注的各种数据集。 --- ## 参考文献 [^1]: Mixamo. animate 3d characters for games, film, and more. . Accessed: 2021-09-30. 6 [^2]: Federica Bogo, Angjoo Kanazawa, Christoph Lassner, Peter Gehler, Javier Romero, and Michael J. Black. Keep it SMPL: Automatic estimation of 3D human pose and shape from a single image. In Computer Vision – ECCV 2016, Lecture Notes in Computer Science. Springer International Publishing, Oct. 2016. 3 [^3]: Zhe Cao, Tomas Simon, Shih-En Wei, and Yaser Sheikh. Realtime multi-person 2d pose estimation using part affinity fields. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 7291–7299, 2017. 2 [^4]: Liangjian Chen, Shih-Yao Lin, Yusheng Xie, Yen-Yu Lin, and Xiaohui Xie. Temporal-aware self-supervised learning for 3d hand pose and mesh estimation in videos. In Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision, pages 1050–1059, 2021. 2 [^5]: Xingyu Chen, Yufeng Liu, Chongyang Ma, Jianlong Chang, Huayan Wang, Tian Chen, Xiaoyan Guo, Pengfei Wan, and Wen Zheng. Camera-space hand mesh recovery via semantic aggregation and adaptive 2d-1d registration. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 13274–13283, 2021. 2 [^6]: Yu Cheng, Bo Yang, Bo Wang, and Robby T Tan. 3d human pose estimation using spatio-temporal networks with explicit occlusion training. In Proceedings of the AAAI Conference on Artificial Intelligence, volume 34, pages 10631–10638, 2020. 2 [^7]: Yu Cheng, Bo Yang, Bo Wang, Wending Yan, and Robby T Tan. Occlusion-aware networks for 3d human pose estimation in video. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 723–732, 2019. 2 [^8]: Vasileios Choutas, Georgios Pavlakos, Timo Bolkart, Dimitrios Tzionas, and Michael J Black. Monocular expressive body regression through body-driven attention. In European Conference on Computer Vision, pages 20–40. Springer, 2020. 6, 7, 8 [^9]: Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner, Mostafa Dehghani, Matthias Minderer, Georg Heigold, Sylvain Gelly, et al. An image is worth 16x16 words: Transformers for image recognition at scale. arXiv preprint arXiv:2010.11929, 2020.4 [^10]: Hao-Shu Fang, Shuqin Xie, Yu-Wing Tai, and Cewu Lu. RMPE: Regional multi-person pose estimation. In ICCV, 2017. 2 [^11]: Kehong Gong, Jianfeng Zhang, and Jiashi Feng. Poseaug: A differentiable pose augmentation framework for 3d human pose estimation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 8575–8584, 2021. 2 [^12]: Ian Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville, and Yoshua Bengio. Generative adversarial nets. Advances in neural information processing systems, 27, 2014. 5 [^13]: Andrew Howard, Mark Sandler, Grace Chu, Liang-Chieh Chen, Bo Chen, Mingxing Tan, Weijun Wang, Yukun Zhu, Ruoming Pang, Vijay Vasudevan, et al. Searching for mobilenetv3. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 1314–1324, 2019. 3 [^14]: Catalin Ionescu, Dragos Papava, Vlad Olaru, and Cristian Sminchisescu. Human3.6m: Large scale datasets and predictive methods for 3d human sensing in natural environments. IEEE transactions on pattern analysis and machine intelligence, 36(7):1325–1339, 2013. 5 [^15]: Hanbyul Joo, Tomas Simon, and Yaser Sheikh. Total capture: A 3d deformation model for tracking faces, hands, and bodies. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 8320–8329, 2018. 2, 3 [^16]: Angjoo Kanazawa, Michael J Black, David W Jacobs, and Jitendra Malik. End-to-end recovery of human shape and pose. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 7122–7131, 2018. 2 [^17]: Angjoo Kanazawa, Jason Y Zhang, Panna Felsen, and Jitendra Malik. Learning 3d human dynamics from video. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 5614–5623, 2019. 2 [^18]: Muhammed Kocabas, Nikos Athanasiou, and Michael J. Black. Vibe: Video inference for human body pose and shape estimation. In The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 2020. 2 [^19]: Nikos Kolotouros, Georgios Pavlakos, Michael J Black, and Kostas Daniilidis. Learning to reconstruct 3d human pose and shape via model-fitting in the loop. In ICCV, 2019. 3 [^20]: Nikos Kolotouros, Georgios Pavlakos, and Kostas Daniilidis. Convolutional mesh regression for single-image human shape reconstruction. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 4501–4510, 2019. 2 [^21]: Serdar Kucuk and Zafer Bingul. Robot kinematics: Forward and inverse kinematics. INTECH Open Access Publisher, 2006. 5 [^22]: Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Ves Stoyanov, and Luke Zettlemoyer. Bart: Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. arXiv preprint arXiv:1910.13461, 2019. 3 [^23]: Jiefeng Li, Can Wang, Hao Zhu, Yihuan Mao, Hao-Shu Fang, and Cewu Lu. Crowdpose: Efficient crowded scenes pose estimation and a new benchmark. arXiv preprint arXiv:1812.00324, 2018. 2 [^24]: Wenhao Li, Hong Liu, Runwei Ding, Mengyuan Liu, and Pichao Wang. Lifting transformer for 3d human pose estimation in video. arXiv preprint arXiv:2103.14304, 2021. 2 [^25]: Matthew Loper, Naureen Mahmood, Javier Romero, Gerard Pons-Moll, and Michael J Black. Smpl: A skinned multiperson linear model. ACM transactions on graphics (TOG), 34(6):1–16, 2015. 2 ## [^26]: Naureen Mahmood, Nima Ghorbani, Nikolaus F Troje, Gerard Pons-Moll, and Michael J Black. Amass: Archive of motion capture as surface shapes. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 5442–5451, 2019. 3, 5 --- [^27]: Michael Mistry, Jun Nakanishi, Gordon Cheng, and Stefan Schaal. Inverse kinematics with floating base and constraints for full body humanoid robot control. In Humanoids 2008-8th IEEE-RAS International Conference on Humanoid Robots, pages 22–27. IEEE, 2008. 3, 6 [^28]: Franziska Mueller, Florian Bernard, Oleksandr Sotnychenko, Dushyant Mehta, Srinath Sridhar, Dan Casas, and Christian Theobalt. Generated hands for real-time 3d hand tracking from monocular rgb. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 49–59, 2018. 2 [^29]: Evonne Ng, Shiry Ginosar, Trevor Darrell, and Hanbyul Joo. Body2hands: Learning to infer 3d hands from conversational gesture body dynamics. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 11865–11874, 2021. 1, 2, 6, 7, 8 [^30]: Georgios Pavlakos, Vasileios Choutas, Nima Ghorbani, Timo Bolkart, Ahmed A. A. Osman, Dimitrios Tzionas, and Michael J. Black. Expressive body capture: 3d hands, face, and body from a single image. In Proceedings IEEE Conf. on Computer Vision and Pattern Recognition (CVPR), 2019. 1, 3 [^31]: Dario Pavllo, Christoph Feichtenhofer, David Grangier, and Michael Auli. 3d human pose estimation in video with temporal convolutions and semi-supervised training. In Conference on Computer Vision and Pattern Recognition (CVPR), 2019. 2, 3 [^32]: Javier Romero, Dimitrios Tzionas, and Michael J Black. Embodied hands: Modeling and capturing hands and bodies together. ACM Transactions on Graphics (ToG), 36(6):1–17, 2017. 2 [^33]: Yu Rong, Takaaki Shiratori, and Hanbyul Joo. Frankmocap: Fast monocular 3d hand and body motion capture by regression and integration. arXiv preprint arXiv:2008.08324, 2020.1, 3, 6, 7, 8 [^34]: Wenkang Shan, Haopeng Lu, Shanshe Wang, Xinfeng Zhang, and Wen Gao. Improving robustness and accuracy via relative information encoding in 3d human pose estimation. arXiv preprint arXiv:2107.13994, 2021. 2 [^35]: Tomas Simon, Hanbyul Joo, Iain Matthews, and Yaser Sheikh. Hand keypoint detection in single images using multiview bootstrapping. In Proceedings of the IEEE conference on Computer Vision and Pattern Recognition, pages 1145–1153, 2017. 2 [^36]: Kaitao Song, Xu Tan, Tao Qin, Jianfeng Lu, and Tie-Yan Liu. Mass: Masked sequence to sequence pre-training for language generation. arXiv preprint arXiv:1905.02450, 2019. [^37]: Adrian Spurr, Jie Song, Seonwook Park, and Otmar Hilliges. Cross-modal deep variational hand pose estimation. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 89–98, 2018. 2 [^38]: Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in neural information processing systems, pages 5998–6008, 2017. 3 [^39]: Yanggang Wang, Baowen Zhang, and Cong Peng. Srhandnet: Real-time 2d hand pose estimation with simultaneous 区域定位。《IEEE图像处理汇刊》，第29卷：2977–2986页，2019年。2 [^40]: Donglai Xiang, Hanbyul Joo, and Yaser Sheikh. Monocular total capture: Posing face, body, and hands in the wild. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 10965–10974, 2019. 1, 3, 6, 8 [^41]: Bin Xiao, Haiping Wu, and Yichen Wei. Simple baselines for human pose estimation and tracking. In Proceedings of the European conference on computer vision (ECCV), pages 466–481, 2018. 2 [^42]: Yuliang Xiu, Jiefeng Li, Haoyu Wang, Yinghong Fang, and Cewu Lu. Pose Flow: Efficient online pose tracking. In BMVC, 2018. 2 [^43]: Katsu Yamane and Yoshihiko Nakamura. Natural motion animation through constraining and deconstraining at will. IEEE Transactions on visualization and computer graphics, 9(3):352–360, 2003. 3, 6, 7 [^44]: Sijie Yan, Yuanjun Xiong, and Dahua Lin. Spatial temporal graph convolutional networks for skeleton-based action recognition. In Thirty-second AAAI conference on artificial intelligence, 2018. 2 [^45]: Yuxiang Zhang, Zhe Li, Liang An, Mengcheng Li, Tao Yu, and Yebin Liu. Lightweight multi-person total motion capture using sparse multi-view cameras. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 5560–5569, 2021. 1 [^46]: Long Zhao, Xi Peng, Yu Tian, Mubbasir Kapadia, and Dimitris N Metaxas. Semantic graph convolutional networks for 3d human pose regression. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 3425–3435, 2019. 2 [^47]: Yuxiao Zhou, Marc Habermann, Ikhsanul Habibie, Ayush Tewari, Christian Theobalt, and Feng Xu. Monocular real-time full body capture with inter-part correlations. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 4811–4822, 2021. 1, 3 [^48]: Yuxiao Zhou, Marc Habermann, Weipeng Xu, Ikhsanul Habibie, Christian Theobalt, and Feng Xu. Monocular real-time hand shape and motion capture using multi-modal data. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 5346–5355, 2020. 2 [^49]: Christian Zimmermann and Thomas Brox. Learning to estimate 3d hand pose from single rgb images. In Proceedings of the IEEE international conference on computer vision, pages 4903–4911, 2017. 2