# 野外环境下的弱监督网格卷积手部重建 多米尼克·库隆 $^{1,3}$ 里扎·阿尔普·居勒 $^{1,3}$ 伊阿索纳斯·科基诺斯 $^{3}$ 迈克尔·布朗斯坦 $^{1,2,4}$ 斯特凡诺斯·扎费里乌 $^{1,3}$ $^{1}$帝国理工学院 $^{2}$卢加诺美国国际学院 $^{3}$Ariel AI $^{4}$Twitter {d.kulon17, r.guler, m.bronstein, s.zafeiriou}@imperial.ac.uk ![Image](images/c1aa687b3410638cb1f77218594640f7237272fda9a91a36b0e21e1c37752867.jpg) 图1：我们提出了一种基于网格监督的端到端神经网络训练方法，该监督信号通过自动化数据收集方式获取。我们处理大量YouTube视频，先用2D手部关键点检测器进行分析，再进行参数化模型拟合（右侧）。拟合结果被用作监督信号（“网格损失”），用于指导带有网格卷积解码器的前馈网络，使其输出能够还原3D手部网格（左侧）。 ## 摘要 我们提出了一种简单且高效的单目3D手部姿态估计网络架构，该架构由图像编码器与网格卷积解码器组成，通过直接的3D手部网格重建损失进行训练。我们通过收集YouTube视频中的大规模手部动作数据集来训练该网络，并将其作为弱监督来源。我们基于弱监督网格卷积的系统性能大幅优于现有最先进方法，甚至在野外基准测试中的误差降低了一半。数据集及其他相关资源可在获取。 ### 1. 引言 单目3D手部重建能够支持人机交互、增强现实、虚拟远程呈现或手语识别等诸多应用场景。不过，当前最先进的方法并不总能很好地泛化到非实验室环境下采集的样本。我们的研究旨在应对野外场景，因此主要使用从YouTube视频中收集的大规模手部动作图像数据集进行训练；同时，在公开基准测试中评估时，我们的系统性能也大幅优于现有最先进方法。 尽管我们的方法能够生成密集的手部网格，但性能仍优于那些致力于解决更狭窄任务——即估计通常对应手部关节和指尖的稀疏关键点坐标——的系统。传统方法是回归2D地标热图，进而找到匹配的3D姿态[^62] [^40] [^37]。近期专注于完整网格重建的研究，会先将可变形模型拟合到估计出的地标上，利用3D形状空间的先验分布来实现3D重建[^5] [^60] [^2] [^20]。这类模型要么由旋转角度和线性变形函数的权重参数化[^44]，要么由从数据中学习到的潜在特征参数化[^17] [^27]。我们采用了后一种方法，事实证明它们最具潜力，但我们大幅提升了其准确性和鲁棒性。 我们的首个重要贡献是一种用于3D网格重建的弱监督训练方法。我们提出了一种从无标注图像中快速生成数据集的方法，该方法通过将手部模型拟合到2D关键点检测结果上，同时遵循对旋转角的先验约束。我们的数据生成算法会处理一系列YouTube视频，从而生成包含3D手部网格的图像精选数据集。我们选取了由5万个训练标注组成的筛选后子集，这些标注来自执行各种任务的数百名受试者。 --- 除了基于数据的改进外，我们还通过使用基于邻域排序的空间网格卷积方法取得了显著提升。我们利用仅用于强制重建与图像对齐的手部网格的目标函数，从头开始训练端到端系统。 在真实场景下，我们的系统将手部姿态估计误差降低了50%，而这一场景正是我们的主要研究重点。在受控环境中，它在手部姿态估计任务上的表现也优于以往的方法，且无需针对特定数据集进行调整或防止过拟合。 总而言之，我们的贡献如下： - 我们提出了一种从无标注图像中自动生成3D手部重建和姿态估计训练数据的方法。所提出的方法具备可扩展性，且不需要大量的计算资源。 - 我们发布了包含5万个与帧对齐的网格的数据集，这些帧选自百余个YouTube视频。 - 我们为网格重建提出了一种简单的损失函数，该函数允许在无需中间监督的情况下训练神经网络。 - 我们证明了空间网格卷积在手部重建任务中的表现优于谱方法和基于SMPL的[^33] [^44]模型。 - 我们使用简单且单次运行的编码器-解码器架构，在姿态估计和网格重建任务上的表现大幅超越了当前最先进的技术水平。 ### 2. 背景 我们的研究重点是仅以RGB图像为输入的手部姿态估计任务。与有深度传感器辅助的情况相比，这一任务要更具挑战性[^58] [^47] [^16] [^38] [^54]。手部网格恢复是一项更通用的任务，其目标是重建相对密集的点云，并估计目标物体的姿态及特定于该物体的形状。如果某种方法能够生成不同特定于物体的形状，我们就将其归类为后者。 手部姿态估计多视角自举技术[^45]是一种迭代改进技术：首先通过运行2D关键点检测器获取多个视角下的手部初始标注，随后将这些标注在3D空间中三角测量并重新投影，若符合质量标准则用于下一轮训练。该系统是我们用于弱监督的OpenPose框架[^53]的一部分。 目前已提出多种从估计的2D关键点回归3D姿态的方法[^62] [^40] [^32] [^9]。Dibra等人[^13]引入深度正则化机制，以角度形式约束3D姿态估计过程。相比之下，变分方法通过变分自编码器[^46]之间的交替训练来学习共享潜空间，实现潜表征的解耦[^57]，或是对齐不同潜空间[^56]。这使得系统能够按照学习到的任意模态采样输出。Gao等人[^14]在变分框架下解决了物体交互时手部姿态估计的问题。生成式网络也可用于将合成图像转换到真实世界图像空间[^37]，具体做法是对循环对抗损失[^61]进行修改，加入几何一致性项以确保图像转换过程中姿态得以保留。Tekin等人[^49]则利用单次拍摄网络来估计手部和物体的姿态。 近期，Cai等人[^10]提出构建时空图，并利用谱域中的图卷积来估计3D姿态。 手部网格恢复模型MANO[^44]是一种手部模型，其参数包括运动树中每个关节的旋转角度，以及用于描述人体形状的线性函数的混合权重。通过应用线性混合蒙皮技术，利用分配给各关节的旋转矩阵对顶点进行变换，即可得到不同的关节活动状态。此外，为了弥补蒙皮方法导致的体积损失，还会学习依赖于姿态的校正偏移量。近期已有大量研究致力于通过回归MANO参数和相机参数来获取3D姿态。 Boukhayma等人[^5]从图像及OpenPose生成的热图中回归这些参数。该方法虽在野外图像上进行了评估，但如评估章节所示，其误差相对较大。Zhang等人[^60]与Baek等人[^2]提出了从热图迭代回归模型参数的方法。Hasson等人[^20]则预测MANO参数并重建手部所交互的物体。 Ge等人[^17]利用谱域中的图卷积来恢复手部网格。该系统包含热图回归模块；在处理真实世界图像时，会以2D关键点、深度图以及基于真实热图预训练的模型生成的近似网格作为监督信号。Kulon等人[^27]则通过回归预训练网格生成器的潜向量并估算相机投影参数，从而实现从图像中重建手部模型。 在本文中，我们提出了一种架构更为简洁的方法，该方法通过在图像坐标系下定位网格点并计算相关损失，同时利用空间网格卷积，显著超越了以往的研究成果。 --- 上一小节中介绍的基于回归MANO参数的人体网格恢复方法，源自关于人体网格恢复的研究[^3] [^28] [^22] [^48] [^42] [^50] [^41] [^39] [^21] [^55] [^25]。我们的工作与Koloturos等人的研究[^26]类似，他们会对图像进行编码，并将编码后的特征与处于标准姿态的模板网格的坐标拼接起来。得到的图会经过一系列谱图卷积处理，从而恢复出与图像对应的人体模型。相比之下，我们则是直接从图像编码中解码出网格，并应用带有池化层的空间卷积。 几何深度学习 我们致力于运用深度学习来学习三角网格中的不变形状特征[^7]。为此，谱方法[^8] [^12] [^23] [^29]会在频域中定义卷积操作。空间卷积则定义了局部坐标系[^34] [^4] [^36]，这种方式似乎更适合在流形上学习或设计有意义的池化函数。另外，也可以通过注意力机制来定义卷积算子，从而对邻居节点的选择进行加权[^52] [^51]。 在应用层面，与我们的方法类似的是，Ranjan等人[^43]利用快速谱卷积[^12]以无监督的方式找到人脸的低维非线性表示。Kulon等人[^27]证明自编码器可用于学习3D手部的潜在表示。最近，螺旋算子[^30]被引入卷积框架中，用于训练人体的可变形模型[^6]，或解决网格对应和分类任务[^18]。在本文中，我们应用螺旋滤波器直接从图像编码生成手部模型。 ### 3. YouTube Hands-in-the-Wild数据集 尽管应用场景广泛，但目前尚无针对野外环境下基于RGB图像的单目3D手部重建的数据集。唯一现有的非实验室环境下拍摄的手部图像集合[^45]仅包含不到3000个样本，且仅有手动标注的2D点数据。 为了训练能够跨不同领域进行3D手部重建的神经网络，我们构建了一个从YouTube视频中快速自动生成数据集的系统，从而获取各类具有挑战性的手部图像。我们并未手动标注这些数据，而是采用了一种弱监督方法：首先利用OpenPose检测关键点，然后通过迭代拟合3D可变形模型将其映射到3D形状。虽然训练模型的精度可能会受到OpenPose性能的限制，但我们在带有手动标注的外部数据集上评估后发现，该系统能实现最先进的3D手部重建和姿态估计效果。 #### 3.1.3 D形状表示 我们的方法依赖于同时拟合MANO模型以及旋转角度先验。MANO通过一个可微函数$N = 778$预测手部表面的$K = 16$个顶点和$M(\beta, \theta)$个关节，该函数将形状参数$\beta \in \mathbb{R}^{|\beta|}$和姿态参数$\theta \in \mathbb{R}^{K \times 3}$映射为由网格表示的模型实例： $$ M(\beta,\theta,\vec{T}_{\delta},s;\phi):\mathbb{R}^{|\beta|\times|\theta|\times|\vec{T}_{\delta}|\times|s|} \to \mathbb{R}^{N\times3} $$ 其中，$|\beta|$ 取决于训练过程，而 $\phi$ 是一组已学习到的模型参数，我们在后续讨论中不再赘述。此外，我们还有用于缩放模型的相机参数 s，以及用于平移模型的 $\vec{T}_{\delta} \in \mathbb{R}^3$。全局方向则由 $\theta$ 的第一行来表征。 我们并未将关节角度设为自由变量——因为在优化过程中这可能导致不可能的估计结果——而是将其限制在预先计算出的聚类中心的凸包内。对于第 i 个关节，我们使用通过 k-means 算法得到的 $C = 64$ 欧拉角聚类 $P_i^1, ..., P_i^C$ [^19]，并将任意角度表示如下： $$ \theta_{i}=P(w)_{i}=\frac{\sum_{c=1}^{C}\exp(w^{c})P_{i}^{c}}{\sum_{c=1}^{C}\exp(w^{c})}. $$ 在限制最终角度估计值处于合理范围的同时，该表达式也允许我们对无约束变量 $w^c$ 进行优化。我们用参数矩阵 $w \in \mathbb{R}^{K \times C}$ 来表示所有受约束的角度，同时允许全局方向 $w_0$ 不受限制。 这种简单的方法仅需少量的角度数据，无需像 VAE 先验那样；它能将姿态空间限制在合理的姿态范围内，不像 PCA 先验那样会产生不现实的插值结果；而且它还能拟合未见过的姿态。不过，该方法并未建模关节间的依赖关系，这部分工作我们将留待未来完成。 #### 3.2. 参数化模型拟合 我们的监督信息来源于 OpenPose 提取的 2D 关键点。我们定义了一种拟合流程，试图通过稀疏矩阵 $\mathcal{J} \in \mathbb{R}^{N \times (K+F)}$ 从 MANO 网格中找到匹配的 3D 姿态，该矩阵可将模型顶点映射到 $K = 16$ 关节和 $F = 5$ 指尖位置，从而得出手部姿态 $J \in \mathbb{R}^{(K+F) \times 3}$： $$ J(\boldsymbol{\beta},w,\vec{T_{\delta}},s)=\mathcal{J}^{T}M(\boldsymbol{\beta},P(w),\vec{T_{\delta}},s). $$ 我们通过最小化以下目标函数来将模型拟合到 2D 标注数据上： $$ \{\beta^{*},w^{*},\vec{T}_{\delta}^{*},s^{*}\}=\arg\min\limits_{\beta,w,\vec{T}_{\delta},s}(E_{2D}{+}E_{bone}{+}E_{reg}), $$ 该函数由 2D 重投影项 $E_{2D}$、骨骼长度保持代价 $E_{bone}$ 以及正则化项 $E_{reg}$ 组成。 --- 具体而言，关节误差项用于最小化 2D 关节之间的距离。 $$ E_{2D}(\beta,w,\vec{T_{\delta}},s)=||\Lambda_{2D}(\Pi_{K}\big(J(\beta,P(w),\vec{T_{\delta}},s)\big)-Y)||^{2} $$ 其中，Y 代表 2D 检测器预测结果，$\Pi_{K}$ 是将 3D 点投影到 2D 平面的相机内参，其初始化方式参考了 Pavlakos 等人的方法 [^41]。$\Lambda_{2D}$ 是一个经实验确定的掩码，它将指尖的影响权重放大至 1.7，腕部的影响权重放大至 2.5，同时将常被错误标注的掌指关节（每个手指的基部）的影响权重降低至 0.7。 骨骼损失项 $E_{bone}$ 用于确保手部骨架树中每条边 E 的长度得以保留，即： $$ E_{{b o n e}}(\beta,w,\vec{T}_{\delta},s)=\sum_{(i,j)\in\mathcal{E}}|\;||J_{2D_{j}}-J_{2D_{i}}||-||Y_{j}-Y_{i}||\;|\; $$ 其中 $J_{2D_i} = \Pi_K(J(\beta, w, \vec{T}_\delta, s))_i$。 正则化项 $E_{reg}(\beta, \theta) = \lambda_\theta||\theta||^2 + \lambda_\beta||\beta||^2$ 会对偏离平均姿态的情况进行惩罚，以确保姿态变形符合现实。超参数 $\lambda_\theta = 0.1$ 和 $\lambda_\beta = 1000$ 是通过实验确定的。 优化过程：我们采用 Adam 优化器，针对相机参数、姿态参数和形状参数分别设置不同的学习率（分别为 $10^{-2}$、$10^{-2}$、$10^{-5}$），并且每迭代 500 次后会将学习率按 0.95 的比例衰减。我们首先迭代 1,500 次来优化相机参数和全局方向，此时涉及的关节仅包括腕关节和掌指关节，拇指除外。之后，我们再对所有参数进行 2,500 次迭代优化。我们在 GeForce RTX 2080 Ti 上每批次处理 4,000 个样本，平均耗时约 10 分钟。 #### 3.3. 自动化数据采集 该数据收集系统会遍历一系列YouTube链接，下载视频、提取帧，然后运行OpenPose，为每一帧拟合MANO模型，最后筛选出一小部分经过过滤的样本。投影网格的深度与投影网格X坐标的标准差与其世界位置X坐标的标准差之比成正比。 对合理样本进行筛选时，会设定OpenPose总置信度得分、各关节置信度得分的阈值，同时也会依据摄像头距离对投影后的MANO关节与OpenPose预测结果之间的均方误差进行归一化处理，以此作为筛选依据。 为了构建我们的YouTube数据集，我们处理了102个用于训练集的视频，每个视频最多随机选取500个符合阈值条件的样本。这些样本大多涵盖了不同国籍和种族人群进行的手语对话。例如，有些视频记录了全球上百人对着网络摄像头说同一句话的场景。验证集和测试集包含7个视频，且其中的受试者与训练集没有重叠。我们挑选的测试视频具有多样性和挑战性，包括户外拍摄的对话场景、舞蹈姿势，以及美国、澳大利亚和台湾地区的手语内容（图6左半部分）。此外，我们还在COCO数据集上运行该系统[^31]，从中提取了7048张手部图像用于训练。合并后的训练集包含54173个样本，验证集和测试集则各包含1525张图像。 ### 4. 手部重建网络 如图1所示，我们提出了一种简单的编码器-解码器系统，可直接在图像坐标中重建网格。我们采用了空间卷积网格解码器$\mathcal{D}_{mesh}$，实验表明它比其他解码策略效果更好。在接下来的小节中，我们将介绍构成该解码器的核心组件——所选的空间算子和上采样方法。 ![Image](images/e384a6bef10c5cd2a29d38a022a802747705ddaba306e2715cf63b38af2e82b7.jpg)
a)
![Image](images/2baec3a6ac56bf937d845492ffedc5efd514544b3781e468a408953683fcb9b7.jpg)
b)
Figure 2: a) Spiral selection of neighbours for a center vertex in clockwise order (taken from [^6]). b) The hierarchy of topologies used in our decoder.
在我们的解码器中，我们使用螺旋补丁算子来构建空间邻域。Lim等人[^30]通过以下方式对中心顶点v的邻居按螺旋顺序进行选择：先确定k-圆盘内的元素顺序。 #### 4.1. 螺旋算子 $$ \begin{aligned}0-ring(v)&=\{v\},\ $ k+1)-ring(v)&=N(k-ring(v))\setminus k-disk(v),\\k-disk(v)&=\cup_{i=0...k}i-ring(v),\end{aligned} $$ 其中$N(V)$是指与集合V中任意顶点相邻的所有顶点的集合。随后，螺旋补丁算子[^6]就是有序序列$S(v)$。 $$ \mathbf{S}(v)=(v,1\mathrm{-r i n g}(v),\ldots,k\mathrm{-r i n g}(v)). $$ --- 在确定方向时，我们从每个顶点出发沿顺时针方向排列，并随机初始化v的第一个邻居。图2展示了一种示例性的空间配置。特征$f(S(v))$与核$g_{\ell}$的螺旋卷积可定义为： $$ (f\ast g)_{v}=\sum_{\ell=1}^{L}g_{\ell}f\bigl(S_{\ell}(v)\bigr), $$ 其中，神经网络同一层中每个顶点的螺旋长度L是固定的。 #### 4.2. 采样 我们构建了层级化的网格，解码器的每个阶段顶点数量都会减少为原来的一半。我们根据二次误差度量[^15]来合并顶点对，使得粗网格的顶点能成为更密集网格的子集。我们将每个合并后的节点投影到下采样网格中最接近的三角形上[^43]，再利用投影顶点的重心坐标来确定上采样矩阵的插值权重。 更具体地说，我们将在收缩过程中被丢弃的顶点 $v_q \in V$ 投影到下采样网格 $v_i, v_j, v_k \in V_d$ 中最接近的三角形 $V_d$ 上，从而得到 $\tilde{v}_p$。我们计算其重心坐标 $w_1, w_2, w_3$，使得 $\tilde{v}_p = w_1 v_i + w_2 v_j + w_3 v_k$ 且 $w_1 + w_2 + w_3 = 1$。上采样矩阵 $Q_u \in \mathbb{R}^{m \times n}$ 满足 $V_u = Q_u V_d$ 和 $m > n$，它是通过设置 $Q_u(q, i) = w_i$、$Q_u(q, j) = w_j$、$Q_u(q, k) = w_k$ 以及 $Q_u(q, l) = 0$ 来构造的，其中 $l \notin \{i, j, k\}$。 采用该采样策略得到的拓扑层次结构如图2所示。每一层的顶点数量分别为 $n \in \{51, 100, 197, 392, 778\}$。 #### 4.3. 网络架构 给定以手部为中心的图像裁剪块 X，我们将其嵌入到一个包含64个参数的潜向量 $Z = E_{image}(X)$ 中。解码器 $\mathcal{D}$ 以该嵌入向量为输入，生成网格 $\mathcal{Y} = \mathcal{D}_{mesh}(Z)$。我们使用标准的ResNet-50网络作为编码器 $E_{image}$。螺旋解码器的架构详见图3。如果由于三角剖分错误或网格边界问题导致螺旋序列长度不足，我们会用一个初始位于原点中心的节点来填充。我们仅针对 $k = 2$ 考虑k-圆盘。基于实验评估，我们选择Leaky ReLU作为激活函数。 #### 4.4. 训练过程 损失函数由L1顶点重建项和边长保持项组成。 $$ \begin{aligned}\mathcal{L}&=\lambda_{vertex}|\hat{\mathcal{Y}}-\mathcal{Y}|_{1}\\&+\lambda_{edge}\sum_{(u,v)\in\mathcal{E}_{mesh}}|\left|\|\hat{\mathcal{Y}}_{v}-\hat{\mathcal{Y}}_{u}\|-\left|\left|\mathcal{Y}_{v}-\mathcal{Y}_{u}\right|\right|\right|\end{aligned} $$
FCRUPCUPCUPCUPC
(51*48)(51,48)(2)(32,8)(2)(32,8)(2)(16,8)(2)(3,8)
Figure 3: Architecture of the spiral decoder. $C(w,l)\colon\mathrm{A}$ spiral convolution with w filters and a spiral length $l;U(p)$: upsampling by a factor p; $FC(d)\colon\mathrm{a}$ fully connected layer with d output dimension; $R(d_{1},d_{2})\colon\mathrm{vector}$ reshaping into $a d_{1}\times d_{2}$ matrix.
这里的真值网格为 $\hat{y}$，边集为 $\mathcal{E}_{mesh}$。超参数设置为 $\lambda_{vertex} = 0.01$ 和 $\lambda_{edge} = 0.01$。由于没有发现姿态估计损失对结果有影响，因此未设置显式的姿态估计损失。关节坐标是在评估阶段根据方程3从网格中获得的。 网络采用Adam优化器进行训练，学习率为 $10^{-4}$，共训练150个周期。在第90个和第120个周期后，学习率会衰减为原来的0.1倍。图像使用从ImageNet训练集计算得到的均值和标准差进行归一化，输出的网格则根据训练数据子集的统计信息进行归一化。我们通过随机图像裁剪和变换来增强数据；这种数据增强对于处理真实场景中的图像至关重要，因为这类图像无法根据真值标注进行裁剪。我们在单张GeForce RTX 2080 Ti显卡上训练网络，批量大小为32，裁剪尺寸为 $192 \times 192$，训练时长约为2天。 ### 5. 评估 网格重建方法直到近期才开始受到关注，因此目前尚无成熟的手部恢复基准测试。为了验证我们方法的鲁棒性，我们在主流的手部姿态估计数据集上对其进行了评估。此外，我们还展示了该方法在FreiHAND数据集上的手部重建性能，并在YouTube数据集上对不同的网格解码器进行了自我对比研究。最后，我们证明了神经网络架构和数据标注系统这两项主要贡献，在缺少其中任意一项时仍能实现最先进的性能。 #### 5.1. 数据集 MPII+NZSL（MPII）数据集[^45]包含了通过手动标注两个公开数据集中的2D关键点而获得的自然场景图像：展示日常人类活动的MPII人体姿态数据集[^1]，以及来自新西兰手语练习的图像集[^35]。该数据集包含模糊、低分辨率、被遮挡以及与物体交互的手部图像，这使得它极具挑战性。训练集和测试集分别包含1,912个和846个样本。 --- 渲染手部姿态数据集（RHD）包含41,258个训练样本和2,728个测试样本，均为渲染生成的角色图像[^62]。由于其规模庞大且视角具有挑战性，它常被用于基于RGB的手部姿态估计研究。 FreiHAND是最近发布的一个数据集，包含130,240张训练图像[^11]。它是唯一一个包含3D网格标注的数据集，其背景是经过人工合成的，而非绿色背景幕。测试集包含3,960个样本，是在受控的户外和室内环境中采集的，没有使用绿色背景幕。该数据集包含物体交互和光照变化带来的复杂姿态。测试集的标注并未公开，评估时需通过在线竞赛匿名提交预测结果。 单目全身捕捉（MTC）是一个近期发布的人类运动数据集，包含40名受试者的身体、手部和面部标注[^55]。该数据集是在实验室环境中采集的，存在过拟合风险；不过由于其标注多样且较为准确，可用于学习鲁棒的三维手部形状先验。我们选取了其中的30,000张图像作为训练数据，并进行了筛选以减少相似或平均姿态的样本。 立体手部姿态跟踪基准测试集（STB）包含15,000张单名受试者执行随机姿态和计数手势的训练图像，背景有5种不同类型；测试集包含3,000张具有相同背景的图像[^59]。由于真实标注不够准确，近期的相关论文在解决该数据集问题时允许较高的误差容忍度[^17]。 最后，我们的YouTube数据集将在第3.3节中介绍。 对于除提供顶点标注的FreiHAND之外的每个数据集，我们都按照第3.2节描述的优化方法对MANO模型进行拟合。若存在3D标注，我们仅将公式5中的相机内参替换为恒等函数，随后根据数据集的相机参数投影输出的网格。深度信息的重建方式与此前相同。 #### 5.2. 评价指标 为了评估手部姿态估计和网格重建的性能，我们测量平均欧几里得距离（姿态/网格误差）、不同阈值下的正确点百分比（2D/3D PCK），以及PCK对应的曲线下面积（AUC）。对于3D基准测试，我们在刚性对齐后计算误差。在计算2D误差前，会先将估计的3D姿态进行正交投影。在自我比较研究中，除了网格误差外，我们还报告平均绝对误差（MAE）。 ![Image](images/0fdc3d387341265396a23e74608dac76b0b3f55f7a6c3fbd99555d441f039088.jpg)
OursBoukh. et al. RGB+2D [^5]Boukh. et al. RGB [^5]Boukh. et al. 2D Fit [^5]Boukh. et al. RGB [^5]Z&B [^62]
Pose Error [px]9.2718.9522.3620.6523.0459.4
Figure 4: 2D PCK and average 2D joint distance (px) to ground-truth for MPII.
![Image](images/85c03273332224d1feb84facaa73ccc2116fef367f013999f4a3e35e873b748d.jpg) ![Image](images/1ed6a3fb1377aa4ec2c87949ca867c24551f5d9752fd38d9bf8533eb54dcc1d2.jpg)
Figure 5: 3D PCK and average 3D joint distance (mm) to ground-truth for RHD.
#### 5.3. 手部姿态估计 图4展示了在MPII数据集上的评估结果。我们的系统性能显著优于其他方法，将领先的基于MANO方法的姿态误差降低了一半，且AUC值提高了0.21个点。 图5展示了在RHD数据集上的3D姿态估计结果。这是一个非常受欢迎的基准测试集，我们在此同样以明显优势超越了现有方法。 所提出的系统在FreiHAND数据集上也取得了更优的性能，如表1所示。值得注意的是，该基准测试中的大多数竞争方法都依赖于MANO参数回归。 #### 5.4. 网格重建 我们在FreiHAND数据集上评估了网格重建的质量（表1）。除了常规的 ---
OursMANO Fit [^11]MANO CNN [^11]Boukh. et al. [^5]Hasson et al. [^20]Mean Shape [^11]
Pose Error [mm] $\downarrow$0.841.371.13.51.331.71
Mesh Error [mm] $\downarrow$0.861.371.091.321.331.64
Pose AUC $\uparrow$0.8340.730.7830.3510.7370.662
Mesh AUC $\uparrow$0.830.7290.7830.7380.7360.674
F@5 [mm] $\uparrow$0.6140.4390.5160.4270.4290.336
F@15 [mm] $\uparrow$0.9660.8920.9340.8940.9070.837
Table 1: 3D pose estimation and mesh reconstruction performance on FreiHAND. For the first two rows lower is better, for the other rows higher is better.
Decoder TypeRHD [mm]MPII [px]YouTube [mm]
MANO12.08611.44814.958
Spectral11.6389.85813.612
Spiral GMM11.13810.07411.999
Spiral GMM, tune11.12110.11711.799
Spiral11.0529.43410.698
Table 2: Pose Error. Performance with different decoders trained on a reduced dataset.
评价指标外，我们还报告了给定阈值下的F分数$d(F@d)$，它是精确度和召回率的调和平均值[^24]。 在野外数据集上的定性结果可参见图6。 #### 5.5. 自我对比 表2和表3展示了不同类型网格解码器在姿态估计和网格重建误差方面的表现。为了开展广泛的超参数搜索以确保对基线方法进行公平比较，我们使用了缩减后的训练数据集（对应表5中的第6行）来加快优化速度。 Spiral指的是本文提出的方法；Spectral采用CoMA解码器[^43]，其实现方式参考Kulon等人的研究[^27]，但不包含相机估计分支。Spiral GMM是[^27]的Spiral实现版本，它引入了预先训练且后续固定的解码器，同时加入了相机估计分支。Spiral GMM tuned是通过恢复Spiral GMM的所有参数训练得到的微调版本。最后，MANO方法与Boukhayma等人的研究[^5]类似，但损失函数作用于网格顶点而非关节。我们发现，我们提出的边长保持损失项能够稳定MANO形状参数回归过程，而以往的研究中需通过施加较大的L2惩罚项[^5]来缓解这种不稳定性。 我们发现空间方法的表现优于频谱方法。此外，在图像坐标系中对网格应用损失进行端到端训练，要比在规范坐标系中预训练再估计相机参数的方式效果更好。
Decoder TypeMAE [mm]Mesh Error [mm]
MANO13.02327.485
Spectral9.05819.317
Spiral GMM8.46218.206
Spiral GMM, tune8.38018.057
Spiral7.82717.096
Table 3: Mesh reconstruction with different decoders on the YouTube dataset trained on a reduced dataset.
#### 5.6. 与迭代拟合方法的对比 我们的系统以与关键点预测结果迭代对齐的网格作为监督信号。自然而然地会有人疑问：网络性能是否受限于迭代拟合方法的性能？我们在唯一现有的、带有手动标注的野外数据集上对比了这两种方法。此外，我们从846个样本中选取了390个，这些样本是根据3.3节所述的合理性检查筛选出来的。 根据表4可知，在筛选后的数据集上，我们系统的性能略逊于迭代拟合方法。这是意料之中的，因为这些样本是关键点估计器置信度极高的样本。重要的是，当考虑整个数据集时，网络的性能要好得多。 该网络还具有极快的推理时间这一特点。具体而言，迭代拟合4000个样本耗时10分钟（批次大小为4000），对应的计时数据见3.2节；单个样本适配2D标注（不含关键点预测）的时间为110秒（GPU）或70秒（CPU）。相比之下，我们网络的推理速度达到了60帧/秒（GeForce RTX 2080 Ti）。
ModelMPII [px]MPII Filtered [px]
Iterative Fitting10.2955.111
Network9.2655.555
Table 4: Comparison of the network performance with iterative fitting on the MPII test set in terms of Pose Error.
--- ![Image](images/3c5164720792c3da4bab0b9fcb49f768f36fad3e794e8454ccc8b8cede9b1a37.jpg)
Figure 6: Qualitative mesh reconstruction results shown on YouTube (left half) and MPII (right half).
#### 5.7. 数据集与方法消融实验 在表5中，我们评估了在不同数据集组合上训练的系统。通过比较第1至3行可以发现，在我们的数据集上训练的网格重建系统比在其他室外数据集上训练的系统效果更佳。第5至8行表明，即便将我们的数据集与其他所有数据集合并后再用于训练，包含该数据集时仍能获得最佳结果。我们还在RHD和MPII数据集上取得了业界领先的性能，且无需使用YouTube、FreiHAND、MTC等较新的数据集，这证明了所提出神经网络的高效性（见第4行）。
IDMPIIRHDMTCFreiHANDYouTubeRHD [mm]MPII [px]YouTube [mm]
1XX15.39814.93035.032
213.25816.55823.409
3X12.44810.57211.052
4XX11.20511.54718.539
5XXX11.20210.96516.214
6XXXX11.0529.43410.698
7XXXX10.9269.67212.637
8XXXXX10.9229.29210.536
Table 5: Pose Error. Performance on different combinations of datasets.
同样，表2显示，采用新数据集和网格损失函数训练的基于MANO的方法，其性能优于以往的基于MANO的实现，这也凸显了我们所构建的数据采集系统的重要性。 ### 6. 结论 我们已经证明，只要目标函数定义得当，简单的编码器-解码器架构就能在网格重建和姿态估计任务中取得优异性能。此外，我们提出了一种自动化数据采集方法，该方法不仅能让系统适配非实验室场景，还能提升在常用基准测试中的表现。我们认为这些发现足以支撑我们进一步探索用于人体建模的网格生成模型，以及其他弱监督与自监督方法——这些方法能够减少在不受约束环境中获取人体三维真实数据的需求。 致谢：M.B.的部分研究得到了ERC Consolidator Grant No. 724228（LEMAN）的支持。S.Z.的部分经费来自EPSRC Fellowship DEFORM（EP/S010203/1）以及亚马逊AWS机器学习研究奖。D.K.的经费来自博士奖学金。 --- ## 参考文献 [^1]: M. Andriluka, L. Pishchulin, P. Gehler, and B. Schiele. 2d human pose estimation: New benchmark and state of the art analysis. In 2014 IEEE Conference on Computer Vision and Pattern Recognition, pages 3686–3693, June 2014. 5 [^2]: Seungryul Baek, Kwang In Kim, and Tae-Kyun Kim. Pushing the envelope for rgb-based dense 3d hand pose estimation via neural rendering. In The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 2019. 1, 2 [^3]: Federica Bogo, Angjoo Kanazawa, Christoph Lassner, Peter Gehler, Javier Romero, and Michael J. Black. Keep it SMPL: Automatic estimation of 3D human pose and shape from a single image. In Computer Vision – ECCV 2016, Lecture Notes in Computer Science. Springer International Publishing, Oct. 2016. 3 [^4]: Davide Boscaini, Jonathan Masci, Emanuele Rodolà, and Michael Bronstein. Learning shape correspondence with anisotropic convolutional neural networks. In Advances in Neural Information Processing Systems, pages 3189–3197, 2016. 3 [^5]: Adnane Boukhayma, Rodrigo de Bem, and Philip HS Torr. 3d hand shape and pose from images in the wild. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 10843–10852, 2019. 1, 2, 6, 7 [^6]: Giorgos Bouritsas, Sergiy Bokhnyak, Stylianos Ploumpis, Michael Bronstein, and Stefanos Zafeiriou. Neural 3d morphable models: Spiral convolutional networks for 3d shape representation learning and generation. In The IEEE International Conference on Computer Vision (ICCV), 2019. 3, 4 [^7]: Michael M Bronstein, Joan Bruna, Yann LeCun, Arthur Szlam, and Pierre Vandergheynst. Geometric deep learning: going beyond euclidean data. IEEE Signal Processing Magazine, 34(4):18–42, 2017. 3 [^8]: Joan Bruna, Wojciech Zaremba, Arthur Szlam, and Yann Le-Cun. Spectral networks and locally connected networks on graphs. In 2nd International Conference on Learning Representations, ICLR 2014, Banff, AB, Canada, April 14-16, 2014, Conference Track Proceedings, 2014. 3 [^9]: Yujun Cai, Liuhao Ge, Jianfei Cai, and Junsong Yuan. Weakly-supervised 3d hand pose estimation from monocular rgb images. In ECCV, 2018. 2 [^10]: Yujun Cai, Liuhao Ge, Jun Liu, Jianfei Cai, Tat-Jen Cham, Junsong Yuan, and Nadia Magnenat Thalmann. Exploiting spatial-temporal relationships for 3d pose estimation via graph convolutional networks. In The IEEE International Conference on Computer Vision (ICCV), October 2019. 2 [^11]: Jimei Yang Bryan Russell Max Argus Christian Zimmermann, Duygu Ceylan and Thomas Brox. Freihand: A dataset for markerless capture of hand pose and shape from single rgb images. In IEEE International Conference on Computer Vision (ICCV), 2019. 6, 7 [^12]: Michaël Defferrard, Xavier Bresson, and Pierre Vandergheynst. Convolutional neural networks on graphs with fast localized spectral filtering. In Advances in neural information processing systems, pages 3844–3852, 2016. 3 [^13]: Endri Dibra, Silvan Melchior, Ali Balkis, Thomas Wolf, Cengiz Oztireli, and Markus Gross. Monocular rgb hand pose inference from unsupervised refinable nets. In The IEEE Conference on Computer Vision and Pattern Recognition (CVPR) Workshops, June 2018. 2 [^14]: Yafei Gao, Yida Wang, Pietro Falco, Nassir Navab, and Federico Tombari. Variational object-aware 3d hand pose from a single rgb image. IEEE Robotics and Automation Letters, PP:1–1, 07 2019. 2 [^15]: Michael Garland and Paul S Heckbert. Surface simplification using quadric error metrics. In Proceedings of the 24th annual conference on Computer graphics and interactive techniques, pages 209–216. ACM Press/Addison-Wesley Publishing Co., 1997. 5 [^16]: Liuhao Ge, Hui Liang, Junsong Yuan, and Daniel Thalmann. Robust 3d hand pose estimation in single depth images: from single-view cnn to multi-view cnns. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 3593–3601, 2016. 2 [^17]: Liuhao Ge, Zhou Ren, Yuncheng Li, Zehao Xue, Yingying Wang, Jianfei Cai, and Junsong Yuan. 3d hand shape and pose estimation from a single rgb image. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 10833–10842, 2019. 1, 2, 6 [^18]: Shunwang Gong, Lei Chen, Michael Bronstein, and Stefanos Zafeiriou. Spiralnet++: A fast and highly efficient mesh convolution operator. In Proceedings of the IEEE International Conference on Computer Vision Workshops, 2019. 3 [^19]: Riza Alp Guler and Iasonas Kokkinos. Holopose: Holistic 3d human reconstruction in-the-wild. In The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 2019. 3 [^20]: Yana Hasson, Gül Varol, Dimitrios Tzionas, Igor Kalevatykh, Michael J. Black, Ivan Laptev, and Cordelia Schmid. Learning joint reconstruction of hands and manipulated objects. In CVPR, 2019. 1, 2, 7 [^21]: Hanbyul Joo, Tomas Simon, and Yaser Sheikh. Total capture: A 3d deformation model for tracking faces, hands, and bodies. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 8320–8329, 2018. 3 [^22]: Angjoo Kanazawa, Michael J Black, David W Jacobs, and Jitendra Malik. End-to-end recovery of human shape and pose. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 7122–7131, 2018. 3 [^23]: Thomas N. Kipf and Max Welling. Semi-supervised classification with graph convolutional networks. In International Conference on Learning Representations (ICLR), 2017. 3 [^24]: Arno Knapitsch, Jaesik Park, Qian-Yi Zhou, and Vladlen Koltun. Tanks and temples: Benchmarking large-scale scene reconstruction. ACM Trans. Graph., 36(4):78:1–78:13, July 2017. 7 [^25]: Nikos Kolotouros, Georgios Pavlakos, Michael J. Black, and Kostas Daniilidis. Learning to reconstruct 3D human pose and shape via model-fitting in the loop. In International Conference on Computer Vision, Oct. 2019. 3 ## [^26]: Nikos Kolotouros, Georgios Pavlakos, and Kostas Daniilidis. Convolutional mesh regression for single-image hu --- 人体形状重建。载于IEEE计算机视觉与模式识别会议（CVPR），2019年6月。3 [^27]: Dominik Kulon, Haoyang Wang, Riza Alp Güler, Michael M. Bronstein, and Stefanos Zafeiriou. Single image 3d hand reconstruction with mesh convolutions. In Proceedings of the British Machine Vision Conference (BMVC), 2019. 1, 2, 3, 7 [^28]: Christoph Lassner, Javier Romero, Martin Kiefel, Federica Bogo, Michael J Black, and Peter V Gehler. Unite the people: Closing the loop between 3d and 2d human representations. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 6050–6059, 2017. 3 [^29]: Ron Levie, Federico Monti, Xavier Bresson, and Michael M Bronstein. Cayleynets: Graph convolutional neural networks with complex rational spectral filters. IEEE Transactions on Signal Processing, 67(1):97–109, 2018. 3 [^30]: Isaak Lim, Alexander Dielen, Marcel Campen, and Leif Kobbelt. A simple approach to intrinsic correspondence learning on unstructured 3d meshes. In Proceedings of the European Conference on Computer Vision (ECCV), pages 0–0, 2018. 3, 4 [^31]: Tsung-Yi Lin, Michael Maire, Serge Belongie, James Hays, Pietro Perona, Deva Ramanan, Piotr Dollár, and C Lawrence Zitnick. Microsoft coco: Common objects in context. In European conference on computer vision, pages 740–755. Springer, 2014. 4 [^32]: J. Liu, H. Ding, A. Shahroudy, L. Duan, X. Jiang, G. Wang, and A. Kot Chichung. Feature boosting network for 3d pose estimation. IEEE Transactions on Pattern Analysis and Machine Intelligence, pages 1–1, 2019. 2 [^33]: Matthew Loper, Naureen Mahmood, Javier Romero, Gerard Pons-Moll, and Michael J. Black. SMPL: A skinned multi-person linear model. ACM Trans. Graphics (Proc. SIGGRAPH Asia), 34(6):248:1–248:16, Oct. 2015. 2 [^34]: Jonathan Masci, Davide Boscaini, Michael Bronstein, and Pierre Vandergheynst. Geodesic convolutional neural networks on riemannian manifolds. In Proceedings of the IEEE international conference on computer vision workshops, pages 37–45, 2015. 3 [^35]: R. McKee, D. McKee, D. Alexander, and E. Paillat. Nz sign language exercises. Deaf Studies Department of Victoria University of Wellington. 5 [^36]: Federico Monti, Davide Boscaini, Jonathan Masci, Emanuele Rodola, Jan Svoboda, and Michael M Bronstein. Geometric deep learning on graphs and manifolds using mixture model cnns. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 5115–5124, 2017. 3 [^37]: Franziska Mueller, Florian Bernard, Oleksandr Sotnychenko, Dushyant Mehta, Srinath Sridhar, Dan Casas, and Christian Theobalt. Generated hands for real-time 3d hand tracking from monocular rgb. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 49–59, 2018. 1, 2 [^38]: Markus Oberweger and Vincent Lepetit. Deepprior++: Improving fast and accurate 3d hand pose estimation. In Proceedings of the IEEE International Conference on Computer Vision, pages 585–594, 2017. 2 [^39]: Mohamed Omran, Christoph Lassner, Gerard Pons-Moll, Peter Gehler, and Bernt Schiele. Neural body fitting: Unifying deep learning and model based human pose and shape estimation. In 2018 International Conference on 3D Vision (3DV), pages 484–494. IEEE, 2018. 3 [^40]: Paschalis Panteleris, Iason Oikonomidis, and Antonis Argyros. Using a single rgb frame for real time 3d hand pose estimation in the wild. In 2018 IEEE Winter Conference on Applications of Computer Vision (WACV), pages 436–445. IEEE, 2018. 1, 2 [^41]: Georgios Pavlakos, Vasileios Choutas, Nima Ghorbani, Timo Bolkart, Ahmed A. A. Osman, Dimitrios Tzionas, and Michael J. Black. Expressive body capture: 3d hands, face, and body from a single image. In Proceedings IEEE Conf. on Computer Vision and Pattern Recognition (CVPR), 2019. 3, 4 [^42]: Georgios Pavlakos, Luyang Zhu, Xiaowei Zhou, and Kostas Daniilidis. Learning to estimate 3d human pose and shape from a single color image. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 459–468, 2018. 3 [^43]: Anurag Ranjan, Timo Bolkart, Soubhik Sanyal, and Michael J Black. Generating 3d faces using convolutional mesh autoencoders. In Proceedings of the European Conference on Computer Vision (ECCV), pages 704–720, 2018. 3, 5, 7 [^44]: Javier Romero, Dimitrios Tzionas, and Michael J. Black. Embodied hands: Modeling and capturing hands and bodies together. ACM Transactions on Graphics, (Proc. SIGGRAPH Asia), 36(6):245:1–245:17, Nov. 2017. (*) Two first authors contributed equally. 1,2 [^45]: Tomas Simon, Hanbyul Joo, Iain Matthews, and Yaser Sheikh. Hand keypoint detection in single images using multiview bootstrapping. In Proceedings of the IEEE conference on Computer Vision and Pattern Recognition, pages 1145–1153, 2017. 2, 3, 5 [^46]: Adrian Spurr, Jie Song, Seonwook Park, and Otmar Hilliges. Cross-modal deep variational hand pose estimation. In CVPR, 2018. 2, 6 [^47]: James S Supancic, Grégory Rogez, Yi Yang, Jamie Shotton, and Deva Ramanan. Depth-based hand pose estimation: data, methods, and challenges. In Proceedings of the IEEE international conference on computer vision, pages 1868–1876, 2015. 2 [^48]: Vince Tan, Ignas Budvytis, and Roberto Cipolla. Indirect deep structured learning for 3d human body shape and pose prediction. BMVC, 2017. 3 [^49]: Bugra Tekin, Federica Bogo, and Marc Pollefeys. H+o: Unified egocentric recognition of 3d hand-object poses and interactions. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 4511–4520, 2019. 2 ## [^50]: Gul Varol, Duygu Ceylan, Bryan Russell, Jimei Yang, Ersin Yumer, Ivan Laptev, and Cordelia Schmid. Bodynet: Volumetric inference of 3d human body shapes. In Proceedings of the European Conference on Computer Vision (ECCV), pages 20–36, 2018. 3 --- [^51]: Petar Veličković, Guillem Cucurull, Arantxa Casanova, Adriana Romero, Pietro Liò, and Yoshua Bengio. Graph attention networks. International Conference on Learning Representations, 2018. 3 [^52]: Nitika Verma, Edmond Boyer, and Jakob Verbeek. Feastnet: Feature-steered graph convolutions for 3d shape analysis. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 2598–2606, 2018. 3 [^53]: Shih-En Wei, Varun Ramakrishna, Takeo Kanade, and Yaser Sheikh. Convolutional pose machines. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 4724–4732, 2016. 2 [^54]: Aaron Wetzler, Ron Slossberg, and Ron Kimmel. Rule of thumb: Deep derotation for improved fingertip detection. In Proceedings of the British Machine Vision Conference (BMVC), 2015. 2 [^55]: Donglai Xiang, Hanbyul Joo, and Yaser Sheikh. Monocular total capture: Posing face, body, and hands in the wild. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 10965–10974, 2019. 3, 6 [^56]: Linlin Yang, Shile Li, Dongheui Lee, and Angela Yao. Aligning latent spaces for 3d hand pose estimation. In The IEEE International Conference on Computer Vision (ICCV), October 2019. 2, 6 [^57]: Linlin Yang and Angela Yao. Disentangling latent hands for image synthesis and pose estimation. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 9877–9886, 2019. 2, 6 [^58]: Shanxin Yuan, Guillermo Garcia-Hernando, Björn Stenger, Gyeongsik Moon, Ju Yong Chang, Kyoung Mu Lee, Pavlo Molchanov, Jan Kautz, Sina Honari, Liuhao Ge, Junsong Yuan, Xinghao Chen, Guijin Wang, Fan Yang, Kai Akiyama, Yang Wu, Qingfu Wan, Meysam Madadi, Sergio Escalera, Shile Li, Dongheui Lee, Iason Oikonomidis, Antonis A. Argyros, and Tae-Kyun Kim. Depth-based 3d hand pose estimation: From current achievements to future goals. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 2636–2645, 2018. 2 [^59]: J. Zhang, J. Jiao, M. Chen, L. Qu, X. Xu, and Q. Yang. A hand pose tracking benchmark from stereo matching. In 2017 IEEE International Conference on Image Processing (ICIP), pages 982–986, Sep. 2017. 6 [^60]: Xiong Zhang, Qiang Li, Hong Mo, Wenbo Zhang, and Wen Zheng. End-to-end hand mesh recovery from a monocular rgb image. In Proceedings of the IEEE International Conference on Computer Vision, pages 2354–2364, 2019. 1,2 [^61]: Jun-Yan Zhu, Taesung Park, Phillip Isola, and Alexei A. Efros. Unpaired image-to-image translation using cycle-consistent adversarial networks. In Proceedings of the IEEE International Conference on Computer Vision, pages 2223–2232, 2017. [^62]: Christian Zimmermann and Thomas Brox. Learning to estimate 3d hand pose from single rgb images. In IEEE International Conference on Computer Vision (ICCV), 2017. 1, 2, 6