# 在手部与物体交互场景下，对三维手部姿态估计中针对未见视角、关节运动、形状和物体的泛化能力评估 Anil Armagan$^{1(\boxtimes)}$、Guillermo Garcia-Hernando$^{1,2}$、Seungryul Baek$^{1,20}$、Shreyas Hampali$^{3}$、Mahdi Rad$^{3}$、Zhaohui Zhang$^{4}$、Shipeng Xie$^{4}$、MingXiu Chen$^{4}$、Boshen Zhang$^{5}$、Fu Xiong$^{6}$、Yang Xiao$^{5}$、Zhiguo Cao$^{5}$、Junsong Yuan$^{7}$、Pengfei Ren$^{8}$、Weiting Huang$^{8}$、Haifeng Sun$^{8}$、Marek Hrzic$^{9}$、Jakub Kanis$^{9}$、Zdeněk Krnoul$^{9}$、Qingfu Wan$^{10}$、Shile Li$^{11}$、Linlin Yang$^{12}$、Dongheui Lee$^{11}$、Angela Yao$^{13}$、Weiguo Zhou$^{14}$、Sijia Mei$^{14}$、Yunhui Liu$^{15}$、Adrian Spurr$^{16}$、Umar Iqbal$^{17}$、Pavlo Molchanov$^{17}$、Philippe Weinzaepfel$^{18}$、Romain Brégier$^{18}$、Grégory Rogez$^{18}$、Vincent Lepetit$^{3,19}$以及Tae-Kyun Kim$^{1,21}$ $^{1}$ 伦敦帝国理工学院，英国伦敦 $^{2}$ Niantic公司，美国旧金山 $^{3}$ 格拉茨技术大学，奥地利格拉茨 $^{4}$ Rokid公司，美国旧金山 $^{5}$ 华中科技大学，中国武汉 $^{6}$ 旷视研究院南京分院，中国南京 $^{7}$ 纽约州立大学布法罗分校，美国布法罗 $^{8}$ 北京邮电大学，中国北京 $^{9}$ 西波希米亚大学，捷克比尔森 $^{10}$ 复旦大学，中国上海 $^{11}$ 慕尼黑工业大学，德国慕尼黑 $^{12}$ 波恩大学，德国波恩 $^{13}$ 新加坡国立大学，新加坡 $^{14}$ 哈尔滨工业大学，中国哈尔滨 $^{15}$ 香港中文大学，中国香港特别行政区 $^{16}$ 苏黎世联邦理工学院，瑞士苏黎世 $^{17}$ NVIDIA研究院，美国圣克拉拉 $^{18}$ NAVER LABS Europe，法国梅朗 $^{19}$ 巴黎高等国立应用艺术学院，法国尚普苏尔马尔纳 $^{20}$ 蔚山科学技术院，韩国蔚山 $^{21}$ 韩国科学技术院，韩国大田 摘要。我们研究了在单手场景下，不同类型的方法在三维手部姿态估计任务中的泛化能力。 --- 手部与物体的交互。我们发现，最先进方法的精度会下降，而且它们主要在训练集中未出现的姿态上表现不佳。遗憾的是，由于手部姿态的空间维度极高，即便近期有收集大规模训练数据集的努力，也根本无法密集地覆盖整个空间。当手部与物体交互，且输入为RGB图像而非深度图像时，这种采样问题会更加严重，因为RGB图像还会受到光照条件和颜色的影响。为解决这些问题，我们设计了公开挑战赛（HANDS'19），以评估当前3D手部姿态估计器（HPEs）对训练集姿态的插值和外推能力。更确切地说，HANDS'19旨在：(a) 评估在有无物体存在的情况下，深度和颜色模态对3D手部姿态估计的影响；(b) 评估在形状、关节活动、视角和物体这四个主要维度上的泛化能力；(c) 探索利用合成手部模型来填补现有数据集的空白。通过此次挑战赛，整体精度相比基准水平有了显著提升，尤其是在外推任务中，平均关节误差从27毫米降低到了13毫米。我们的分析凸显了以下因素的影响：数据预处理、集成方法、参数化3D手部模型（MANO）的使用，以及不同的HPE方法和骨干网络。 ## 1 引言 3D手部姿态估计对许多应用而言至关重要，包括AR/VR中的自然用户交互、机器人技术、远程操作和医疗保健领域。近期的成果主要得益于大规模训练集[^41]、深度卷积神经网络[^10] [^22]，以及用于模型拟合的快速优化技术[^15] [^23]。最先进的方法如今在训练时见过的视角和单手场景下能给出令人满意的性能。然而，正如我们将要展示的，当这些方法应用于 egocentric 视角，或存在明显前景遮挡时，其精度会大幅下降。现有基准测试的训练集中并未充分涵盖这些情况[^5] [^20] [^21]。当我们考虑RGB图像和手部与物体交互的场景时，挑战会变得更加严峻。这些问题与此前公开挑战赛HANDS'17的观察结果一致[^40]：最先进方法从正面视角到egocentric视角的精度会下降，从张开手姿势到握拳姿势时精度也会降低。在手部与物体交互的情况下，平均精度也明显更低[^5]。 鉴于从训练集中插值和外推姿态的难度较大，人们可能会选择创建更大的训练集。遗憾的是，3D手部姿态估计本身存在一个固有难题：该问题的维度极高，因为手部姿态、手部形状和相机视角都有大量可独立变化的自由度。当我们考虑手部操纵物体的情况时，这种复杂性还会进一步增加。尽管近期已有大规模数据集问世[^41]，也开发了复杂的校准多视角相机系统来辅助标注或生成合成数据[^13] [^28] [^45]，但要获取完全覆盖问题域的训练集依然极具挑战性。 --- ![Image](images/0ed6b55fde6e87d5f7659b98f03f4799bfd0814d5d306ef0dc47b098138b0400.jpg) ![Image](images/1743f25f17924d180da6a70ac4fde20edccab818f42052dc10a0ac09780ec9b5.jpg)
(a) Task 1
![Image](images/b2e91f66bac03eb3efe1a20d074a2c68488a5b5ac0510ea8d6f2a9da390236d7.jpg) ![Image](images/0d600f5061efb458b0ebf4f887d2c8d9abdc1350c86a829e8955baf89d43e456.jpg)
(b) Task 2
(c) Task 3
Fig. 1. Frames from the three tasks of our challenge. For each task, we show the input depth or RGB image with the ground-truth hand skeleton (top) and a rendering of the fitted 3D hand model as well as a depth rendering of the model (bottom). The ground-truth and estimated joint locations are shown in blue and red respectively. (Color figure online)
在这项工作中，我们深入研究了现有方法对训练集进行插值和外推的能力，以及这种能力如何能够得到提升。为了评估这一能力，我们考虑了图1中所展示的三项任务，这些任务在输入数据（深度图像和RGB图像）或相机视角上有所区别，同时引入了手部对物体的操控情形。我们精心设计了训练集和测试集，以便评估所提交方法在未见过视角、关节运动方式及物体形状下的泛化性能。 与所提供的基线模型相比，HANDS'19取得了显著的精度提升：该基线模型是基于ResNet-50 [^10]的3D关节回归器，且在我们设计的训练集上训练而成，其误差从27毫米降低到了13毫米。本文深入分析了促成这一提升的各种因素。 ## 2 HANDS 2019挑战赛概述 该挑战赛包含三项不同的任务，目标均为根据图像预测手部关节的3D位置。训练阶段会提供图像、手部姿态标注，以及用于合成数据的3D参数化手部模型[^26]。推理阶段仅向参赛者提供图像和手部边界框。各项任务的具体定义如下： 任务1：基于深度的3D手部姿态估计：该任务以Big-Hand2.2M [^41]数据集为基础，与HANDS 2017挑战赛[^39]采用相同的数据集。此任务中不会出现物体。手部图像既包含第三人称视角，也包含第一人称视角。 --- 任务2：与物体交互时的基于深度的3D手部姿态估计：该任务以F-PHAB数据集[^5]为基础。受试者会用手部操控物体，相关数据从第一人称视角采集。部分物体模型由[^5]提供。 任务3：与物体交互时的基于RGB的3D手部姿态估计：该任务以HO-3D [^8]数据集为基础。受试者会用手部操控物体，相关数据从第三人称视角采集。所用物体来自YCB数据集[^36]。此任务还会提供测试图像的真实手腕位置信息。 截至目前，已有116家和123家不同机构分别使用过BigHand2.2M [^41]数据集和F-PHAB [^5]数据集。HANDS'19收到了80份获取带指定划分的数据集的请求，分别有17名、10名和9名参与者在任务1、任务2和任务3中对其方法进行了评估。 ## 3 评估标准 我们从四个“维度”来评估HPE的泛化能力：视角、关节活动方式、形状以及物体。针对每个维度，会利用真实的3D关节位置信息和物体信息，自动对数据集中的每一帧进行标注。根据数据集中各维度的标注分布来划分训练集和测试集。基于各维度的帧标注，以结构化方式对数据集进行采样，从而既得到与训练数据相似的测试帧（用于插值测试），也得到那些包含训练集中从未出现过的维度标注的测试帧（用于外推测试）。关于该数据集的更多细节将在第4节中介绍。为了衡量HPE的泛化能力，我们进一步定义了六个评估指标，它们与四个主要维度相对应：视角、关节活动方式、形状以及物体，分别用于评估HPE在训练集中不存在的关节活动聚类、视角、手部形状和物体类型（即维度标注）相关帧上的外推性能。外推测试用于衡量模型在训练集中不存在/未涵盖的维度标注相关帧上的表现；而插值测试则用于衡量模型在训练集中存在相应维度标注的帧上的表现。 本次挑战赛以平均关节误差（MJE）[^23]作为主要评估指标。结果会根据外推准则进行排序，该准则通过各方法在所有维度上的MJE值来衡量其整体外推能力。为了进一步分析，我们还会考虑基于每帧、每个关节所允许的最大距离误差而得出的成功率。 图2（左）总结了六种评估策略，图2（右）展示了最佳方法在三种可适用于所有任务的评估指标上取得的准确率。由于物体交互过程中关节角度大多固定，因此关节活动方式和视角准则仅适用于任务1；对于其他任务而言，关节活动方式准则的意义不如在任务1中显著。视角准则在任务2中也没有实际意义…… --- ![Image](images/b7dc67aeb45f01686c4ab00b805187d7f4b68b24afdb52800045e17860c9fa1f.jpg) ![Image](images/342a897bdc47bfbcb55c36c26d31808eb14c0b9f12f7e26291ca84b2742e92f8.jpg)
Fig. 2. Left: The six evaluation criteria used in the challenge. For each axis (Viewpoint, Articulation, Shape, Object), we indicate if hand poses in an evaluation criterion are also available (green) in the training set or not (red). Right: MJE comparison of the best methods for the Extrapolation, Interpolation and Shape criteria on each task. (Color figure online)
因为任务2涉及的是以人眼为中心的视角，且任务数据集将手掌与摄像头之间的相对角度限制在一个较小范围内。对于任务3而言，数据量不足导致无法采集到足够多样的视角样本。外推误差往往比插值误差大三倍，而在其他属性中，形状因素成了制约性能的瓶颈。任务3的误差比任务2小，很可能是因为任务3提供了真实的腕部位置信息。 ![Image](images/8d3a9647831364f0d6ff66ab0d474c7531f10436932184d327d8e173a07940ad.jpg) ![Image](images/b7a631c00130747d6cc14d348d0c82f6a909954d28fb1e9cf94153fe38b77a5f.jpg) ![Image](images/93ea723fc95accc1551e4e02cb81e0d280ad50f35a99ddd2747d778931180758.jpg) ![Image](images/a4883ccd9bdb87f169d610c471d5a7276f3f68d0ae7dbc340778c5ee3678c510.jpg) ![Image](images/64d96424c447df23a6136f6f0474fc7c229ba84ca87302e4b1b194072407f2f1.jpg) ![Image](images/41a346fb32c3a7ab9e31c13b8b0ddf3e00968c5fbcafd10b50aaeb46ae3acb92.jpg) ![Image](images/4e03b00868b68d88f10e284778fcac1c6ea079e70dafadc64d2544760487bdcd.jpg) ![Image](images/a4497ed6935f6cd6c9e4302321ce8d5ebe2f6f095a9f3aad1cc4156fccc0f2db.jpg)
Fig. 3. Distributions of the training and test datasets for Task 1 (top), Task 2 (bottom left), and Task 3 (bottom right). The splits are used to evaluate the extrapolation power of the approaches and decided based on the viewpoints, the articulation clusters of the hand pose, the hand shape, and the type of the object present.
## 4 数据集 针对同一任务，训练集是相同的，但用于评估各指标的测试帧可能不同或存在重叠。任务1、2、3的训练帧数量分别为17.5万帧、4.5万帧和1万帧。各评估指标的测试集规模如表1所示。 --- 图3展示了各任务的训练数据和测试数据分布。视角是根据真实关节标注，定义的手部相对于摄像头的仰角和方位角。
Table 1. Detailed analytics on the number of frames provided on the training and test sets for the different tasks.
DatasetTask idTotal Ext.Int.Art.View.Sha.Obj.#Subjects#Objects#Actions#Seq.
Test1125K20%16%16%32%16%X10XX
225K14%32%XX37%17%43771
36.6K24%35%XX1427%551
Training11759515XXX
24571342645539
31050534112
手部姿态是通过对真实关节角度进行聚类来定义和获取的，其方式类似于[^18]，具体是利用每个手指的开/闭状态进行二进制表示，例如“00010”代表食指闭合而其余手指张开的手部姿态聚类，最终可得到$2^5 = 32$个聚类。关于这些姿态聚类的示例可在补充文档中查看。需要注意的是，由于两类数据的维度都很高，使用PCA或t-SNE等低维嵌入方法并不适合用于比较这两种数据分布，因为低维嵌入无法充分反映数据的特征。图3进一步展示了基于受试者/形状的划分情况，其中包含了5个已见受试者和5个未见受试者。同样，数据划分也是基于物体进行的。通过这种方式，我们可以控制数据以定义评估指标。 用于手部姿态估计的3D手部模型。文献中已提出一系列方法[^1] [^3] [^7] [^9] [^42]，利用3D手部模型来辅助手部姿态估计。Ge等人[^7]提出使用图卷积神经网络将RGB图像映射为3D网格的顶点。Hasson等人[^9]则同时推断手部和物体的网格，并研究了用于惩罚物体与手部表面穿透现象的3D接触损失所产生的影响。其他研究者[^1] [^3] [^42]尝试利用MANO [^26]——一种参数化3D手部模型，通过学习估算该模型的低维PCA参数，再将其与可微模型渲染器结合以实现3D监督。以往所有在学习框架中应用3D模型的研究均表明，它们有助于提升给定任务的性能。最近，[^16]指出，通过在估算过程中采用更优的模型参数初始化方式，可加速3D人体模型的拟合过程；不过我们的目标略有不同，旨在探索利用3D模型来提升方法的泛化能力。由于手部姿态空间极为庞大，我们利用3D手部模型来填补训练数据分布中的空白，从而帮助相关方法提升其外推能力。在本研究中，我们采用MANO [^26]手部模型，为每张训练图像提供对应的模型参数。我们基于优化框架为每张图像拟合3D模型，相关细节将在下文详述。 基于梯度的模型拟合优化。我们通过求解下述方程，将MANO [^26]模型的形状$\mathbf{s} = \{s_j\}_{j=1}^0$、相机姿态$\mathbf{c} = \{c_j\}_{j=1}^8$以及姿态$\mathbf{a} = \{a_j\}_{j=1}^{45}$参数，拟合到第i个选定姿态的原始骨骼$\mathbf{z} = \{z_i\}_{i=1}^K$上： $$ (\mathbf{s}^{i*},\mathbf{c}^{i*},\mathbf{a}^{i*})=\arg\min_{(\mathbf{s},\mathbf{c},\mathbf{a})}O(\mathbf{s},\mathbf{c},\mathbf{a},\mathbf{z}^{i})),\forall i\in[1,K], $$ --- 其中，针对样本i我们所提出的目标函数$O(\mathbf{s}, \mathbf{c}, \mathbf{a}, \mathbf{z}^i)$定义如下： $$ O(\mathbf{s},\mathbf{c},\mathbf{a},\mathbf{z}^{i})=||f^{r e g}(V(\mathbf{s},\mathbf{c},\mathbf{a}))-\mathbf{z}^{i}||_{2}^{2}+\sum_{j=1}^{10}\|\mathbf{s}_{j}\|_{2}^{2}+R_{L a p}(V(\mathbf{s},\mathbf{c},\mathbf{a})). $$ V(s, c, a)表示由这三个参数s、c、a决定的3D网格。公式(2)包含以下各项：i) 3D骨骼真实值$\mathbf{z}^i$与当前MANO网格模型的3D骨骼值$f^{reg}(V(\mathbf{s}, \mathbf{c}, \mathbf{a}))^1$之间的欧几里得距离；ii) 形状正则化项，用于迫使形状参数s趋近于MANO模型的平均值（如[^26]中所述，归一化为0），从而最大化形状似然性；iii) 拉普拉斯正则化项$R_{Lap}(V(\mathbf{s}, \mathbf{c}, \mathbf{a}))$，用于获得平滑的网格表面，如[^14]中所述。公式(1)通过利用公式(2)得到的梯度进行迭代求解，具体过程如下： $$ \begin{array}{r}{({\bf s}_{t+1},{\bf c}_{t+1},{\bf a}_{t+1})=({\bf s}_{t},{\bf c}_{t},{\bf a}_{t})-\gamma\cdot\nabla O({\bf s}_{t},{\bf c}_{t},{\bf a}_{t},{\bf z}^{i}),\forall t\in[1,T],}\end{array} $$ 其中 $\gamma = 10^{-3}$ 和 $T = 3000$ 是通过经验设定的。这一过程与 [^1] [^33] 中的精细化步骤类似，后者利用损失函数产生的梯度来优化估计得到的网格。 图4展示了方程(3)所描述的过程中生成的目标深度图像与拟合后的深度图像。由于我们将利用拟合后网格的自数据生成能力来创建拟合模型的输入与输出对，而忽略原始深度图像和骨骼信息，因此拟合过程中的微小误差并不会影响我们的研究目的。此处拟合手部模型的目的在于获得一个合理且完整的关节活动空间。由于我们发现优化模型深度信息与输入深度图像并未能提升参数估计的效果，因此拟合过程并未针对这些信息进行优化。此外，优化过程必须受到限制，以生成合理的手部形状；同时，深度图像中可能会出现噪声及其他不一致现象。 ![Image](images/4ed7182235b2035d73d59180d1422925fc8171c54f5670b847ae3923037ffdf9.jpg)
(a)
(b)
Fig. 4. Depth renderings of the hand model for different iterations in gradient-based optimization fitting. Target image (joints) (a), optimization iterations 0, 100, 300, 400, 600, 700 (b), final fitted hand pose at iteration 3000 (c).
(c)
--- ## 5 评估的方法 在本节中，我们介绍了从36个参与者中选出的14种方法（任务1有17种，任务2有10种，任务3有9种）的要点，以便在第6节中进一步分析它们的结果。这些方法根据其主要组成部分和特性进行分类。关于HANDS'19中这些方法的特性概览，可参阅随本文提供的补充文档中的表1、表2和表3。 用于手部姿态估计的2D与3D监督机制。嵌入并处理3D数据的方法虽然能达到较高的准确率，但相较于基于2D的方法而言，其复杂性更高，效率更低 [^40]。基于3D的方法采用3D卷积层来处理点云输入，例如NTIS就采用了高效的体素化表示方式V2V-PoseNet [^19]，该方法具有更深的架构，并且通过对每个体素的四分之一区域进行加权子体素预测以提高鲁棒性。另一些方法则将3D作为监督手段，如Strawberryfg [^34]，它通过渲染与比较阶段来实施逐体素的监督以辅助模型训练，并采用3D骨骼体积渲染器来重新参数化初始姿态估计结果，这一过程与 [^31] 中的做法类似。BT则使用排列不变的特征提取层 [^17] 来提取点云特征，并采用双分支框架来进行点到姿态投票以及点到隐变量投票。在任务1中，通过从隐变量嵌入中重建点云来实现3D监督；而对于其他任务，则是估计3D手部模型参数，并将其用于可微分的模型渲染器中以实现3D监督。 基于二维卷积神经网络的方法一直是学习回归模型的标准途径，正如Rokid [^43] 所采用的那样，他们采用了两阶段的回归模型。第一个回归模型用于预测初始姿态，第二个模型则建立在第一个模型之上。A2J [^37] 采用一种基于二维偏移和深度估计的二维监督方法，并以锚点为基础。锚点密集地设置在输入图像上，充当关节的局部回归器，从而能够捕捉全局-局部的空间上下文信息。AWR [^11] 采用了一种可学习和自适应的加权操作，利用二维卷积神经网络来聚合密集表示中不同区域的空间信息。这种加权操作对关节坐标施加直接监督，使训练阶段与推理阶段达成一致，同时通过自适应聚合相关区域的空间信息来提升模型的准确性和泛化能力。CrazyHand则遵循手部形态上的关节分布，采用了分层结构的回归网络。ETH_NVIDIA [^30] 采用了潜在的2.5D热图回归 [^12]；此外还采用多层感知机来对绝对根部深度进行去噪处理。通过针孔相机方程可得到尺度归一化空间中的绝对三维姿态。NLE [^25] 首先会将手部分类为一组规范的手部姿态（通过对训练集中的姿态进行聚类获得），随后针对这些类别分别进行二维和三维的手部关节精细回归。NLE是唯一一种在单阶段内提出多种手部姿态并集成区域提议网络（RPN）[^24] 的方法。 --- 检测、回归以及混合式人体姿势估计方法。检测方法基于手部关键点，为每个关节生成概率密度图。NTIS利用三维卷积神经网络 [^19] 来估算每个关节的体素级概率。基于回归的方法则是通过学习输入图像到手部关节位置或直接映射到手部模型关节角的对应关系来估算关节位置 [^29] [^44]。Rokid采用两阶段的关节回归模型来估算用于手部裁剪的初始手部姿态，再从处理后的手部图像中估算最终姿态。A2J采用回归框架，从锚点到最终关节位置回归偏移量。BT则将逐点特征用于投票机制，该机制可作为回归器来估算姿态。 有些方法同时利用了基于检测和基于回归的技术。同样，AWR和Strawberryfg会先估算概率图，再通过可微的软最大值运算 [^31] 来估算关节位置。CrazyHand提出的分层方法会从关节概率图中回归关节位置。ETH_NVIDIA则从估算出的概率图中得到二维关节位置，再回归手部关节相对于根部关节的相对深度距离。NLE首先定位手部并将其分类为锚定姿态，随后从这些锚定姿态中回归出最终姿态。 基于方法ensemble的策略。A2J在投票阶段密集设置锚点，这有助于以ensemble的方式预测关节位置，从而借助参考点检测中的不确定性来实现更好的泛化效果。同理，AWR会自适应地聚合来自不同区域的预测结果；Strawberryfg则采用局部补丁细化 [^35]，即通过细化模型来优化骨骼方向。BT利用从点云中提取的排列等变特征，在点对姿态投票机制中汇总投票结果以估算姿态。NLE则通过ensemble锚定姿态来估算最终姿态。 后处理中的集成方法。与单一姿态估计器不同，多个参赛作品采用了集成方法：它们随机复制多种方法，并在预测后阶段融合预测结果，例如A2J、AWR、NTIS、NLE和Strawberryfg。 A2J在任务1中集成了来自十种不同骨干架构的预测结果，类似地，AWR使用了5种骨干架构；此外，它还会对测试图像进行增强，以便以不同尺度和旋转角度来集成预测结果，这与NLE采用的旋转增强策略类似。NTIS则利用同一模型在6个不同训练 epoch 中得到的预测结果。A2J在任务2中也采用了类似的集成方式。NTIS采用了另一种策略：选取置信度最高的N个子体素预测结果，将其用于后续精炼阶段，结合截断奇异值分解以及时间平滑技术（任务2）。NLE利用了多种姿态提议的集成结果 [^25]。Strawberryfg则采用不同策略，集成那些使用不同输入模态训练的模型的预测结果。 --- 真实数据与合成数据的使用。任务1中的Rokid以及任务2和任务3中的BT，都利用提供的MANO [^26] 模型参数来合成更多训练样本。Rokid利用合成图像并结合真实图像——见图5——来训练其初始姿态回归网络，这有效提升了准确率——见表5。不过，Rokid生成的合成数据量仅限于57万条，而BT在任务2中生成3.2万条，任务3中生成10万条。考虑到无论有无物体时手部姿态空间都是连续且高维的，即便我们进行均匀采样且采样量最小， ![Image](images/40f9108da5f22179cb7b62d711845a66ff79348dee22ebc584099c129e24aee9.jpg)
(a) Real Cropped Hand
Fig. 5. Visualization of synthetic depth images by Rokid [^43]: (a) input depth image, (b) rendered depth image using 3D hand model, (c) the mixed by using the pixels with the closest depth values from real and synthetic images.
例如，$10^2$（方位角/仰角）$\times 2^5$（关节角度）$\times 10^1$（形状）$\times 10^1$（物体）= 32万条，这一数字已经非常庞大，会给内存占用和训练所需的GPU时长带来巨大压力。研究中采用了随机采样方式，既未考虑数据分布先验，也未运用智能采样技术 [^2] [^4]。BT生成带有物体的合成图像，其方式类似于 [^20]：它将物体从 [^8] 随机放置到手部附近位置，却并未考虑手与物体之间的交互作用。其余方法仅使用提供的真实训练数据。 用于手部姿态估计的多模态输入。BT在任务3中采用了 [^38]，用以对齐深度和RGB输入模态的潜在空间，并在学习过程中嵌入深度图像中的固有深度信息。Strawberryfg则利用多输入方式，每种输入都源自深度图像的不同表示形式，例如点云、3D点投影 [^6]、多层深度图 [^27]、深度体素 [^19]。 主流的手部姿态估计骨干网络。带有残差连接的ResNet [^10] 架构一直是众多手部姿态估计方法青睐的骨干选择，例如A2J、AWR、Strawberryfg、CrazyHand、ETH_NVIDIA、NLE，或者BT在ResPEL [^17] 架构中隐含使用的该架构。Rokid则选用EfficientNet-b0 [^32] 作为骨干网络，该架构能够统一调整网络的深度、宽度和分辨率。 ## 6 结果与讨论 我们分享了对参赛者所采用方法的分析结果：任务1有6种方法，任务2有4种方法，任务3有3种方法。分析重点突出了数据预处理、集成方法的使用、MANO模型的应用、不同手部姿态估计方法及骨干网络，以及姿态精炼的后处理策略所产生的影响。 --- 对任务1提交方法的分析。我们考察了所选方法的主要特性以及用于比较的评估标准。表2列出了MJE指标的误差，图6显示，在距离阈值d较低且不存在物体时，更容易实现高成功率。基于2D的方法，如具有额外数据合成优势的Rokid，或采用巧妙设计的局部回归器的A2J，在根据外推准则评估MJE分数时表现最佳。AWR在插值准则和关节运动准则上的MJE误差最低，其表现与其他2D方法相当。在距离小于50毫米的外推任务中，AWR的表现最为出色，同时它对未见视点和关节运动的泛化能力也更强，且在插值方面表现优异。基于3D体素的方法NTIS也呈现出类似趋势。不过，其他3D监督学习方法，如Strawberryfg和BT，虽然能在关节运动、形状和插值准则上取得不错的成绩，但其泛化能力较其他方法更弱，在外推和视点准则上无法展现出同等性能。
Table 2. Task 1 - MJE (mm) and ranking of the methods on five evaluation criteria. Best results on each evaluation criteria are highlighted.
UsernameExtrapolationInterpolationShapeArticulationViewpoint
Rokid13.66 (1)4.10 (2)10.27 (1)4.74 (3)7.44 (1)
A2J13.74 (2)6.33 (6)11.23 (4)6.05 (6)8.78 (6)
AWR13.76 (4)3.93 (1)11.75 (5)3.65 (1)7.50 (2)
NTIS15.57 (7)4.54 (3)12.05 (6)4.21 (2)8.47 (4)
Strawberryfg19.63 (12)8.42 (10)14.21 (10)7.50 (9)14.16 (12)
BT23.62 (14)18.78 (16)21.84 (16)16.73 (16)19.48 (14)
Table 3. Task 2 - MJE (mm) and ranking of the methods on four evaluation criteria.
UsernameExtrapolationInterpolationObjectShape
NTIS33.48 (1)17.42 (1)29.07 (2)23.62 (2)
A2J33.66 (2)17.45 (2)27.76 (1)23.39 (1)
CrazyHand38.33 (4)19.71 (4)32.60 (4)26.26 (4)
BT47.18 (5)24.95 (6)38.76 (5)32.36 (5)
对任务2提交方法的分析。我们选取了四种提交的方法来比较任务2中的表现，该任务涉及手在中心视点下与物体的交互。图7所示的成功率反映了外推任务的难度。所有方法在估计关节误差小于15毫米的帧时都难以取得良好表现。另一方面，对于该任务中的其他准则，所有方法都能将20%到30%的关节误差控制在15毫米以内（见表3）。 当考虑所有关节的MJE值时，基于体素的NTIS和采用带锚点的加权局部回归器的A2J表现相近。不过，在低距离误差阈值（d）下，NTIS在所有评估准则的基于帧的评估中均取得了更高的成功率，见图7。尤其在考虑外推任务时，其表现更为突出，特别是对于含有未见物体的帧，见图7。这一现象可以归因于在存在可见/不可见物体时，NTIS能更好地利用体素来表征被遮挡的手部结构。在低距离阈值下，NTIS的插值效果也很佳。 需要注意的是，对于较高的误差阈值（如d > 30毫米），NTIS、A2J和CrazyHand这三种方法的表现非常相似。CrazyHand采用了一种基于检测-回归的层级式人体姿态估计方法，该方法按顺序对从手掌到指尖的关节进行热图回归，这种方法具有重要价值。 --- ![Image](images/18d714c38ccfcc58c81faa20fdbfa7160504ccb95979cb2d7c63492a1eea8e16.jpg) ![Image](images/7ec1b7b4ad6f2a18b428eba1a5ab0ce20f5cf37eef914f4404f1d3e75a2b2a83.jpg)
(a) Extrapolation
![Image](images/ebd903571f4855a627c0ec53ffc192ec70dee62fbcd3077b8b88875e6f2ccb37.jpg)
(b) Viewpoint
Extrapolation Analysis on Shapes
(c) Articulation
![Image](images/51c80ab1eb1a753e62f1879e10f8385c12b50d077c73340c5d04be065dc0199a.jpg) ![Image](images/fc9fd6f7cd2747e9adaab876ac23668238b33d879e4f1393f8a51e0602061881.jpg)
(d) Shape
(e) Interpolation
![Image](images/c5aadb0f982f858e268b8ca8617de48d3a29cb42fc28fcfbec4c1dc699ce98e7.jpg) ![Image](images/a5cec72e484ca1a36a53d1aba7e22ed6cde9bef003d2f828246fe94cc243203d.jpg)
(f) Shape MJE
(g) Azimuth Viewpoint
![Image](images/61f4bfc1888888446091893e621ca0144815607688209b309faa7b63311e16b9.jpg)
(h) Elevation Viewpoint
![Image](images/d92b878b27f4d15fc84edf3d5047bda11632e589eae4cbcb866013396ed58843.jpg)
(i) Articulation MJE
Fig. 6. Task 1 - Success rate analysis (a–e) and MJE analysis on extrapolation and interpolation using shapes (f), viewpoints (g, h) and articulations (i). Solid colors depict samples of extrapolation and transparent colors depict interpolation samples in plots (f–i).
在中心视点下，该方法能与A2J取得相近的结果，因为局部锚点回归器会隐式地优化结构。 对任务3提交方法的分析。我们选取了三种具有不同关键特性的提交方法进行分析。与以往任务相比，参与者要提供准确的姿态显然更具挑战性。没有任何一种方法能够估计出所有关节误差都小于25毫米的帧，见图8。尽管该任务的参与者获得了腕关节的真实位置信息（见表4），但25毫米的距离阈值仍反映出从RGB输入模态准确估计手部姿态的难度。 该任务基于RGB模态下的手-物交互。因此，这一问题凸显了多模态数据以及从不同模态中学习的重要性。只有BT利用了主办方提供的MANO参数来合成10万张图像，并在手附近添加随机物体。这种方法支持了关于多模态重要性和填补真实数据缺口的观点。 --- ![Image](images/2b38ee27e1ba2541832d038190911cf5d4e45c9e98db85fb81d03ba8e4b955c2.jpg) ![Image](images/90be98cbd12ef99f1ff19ad11f80bbc1859e8a2f1f9a789336f06fa7ffb9042c.jpg)
(a) Extrapolation
(b) Shape
![Image](images/754a6c81e9dfff5034a669457d4d40c46401b7e749868af4183104f42d51428e.jpg)
(c) Object
Analysis on Seen/Unseen Shapes
![Image](images/f0cfd4fc3334561c9605ef684920eaa028b1f2e5bcdd1e7463aabe5d89c1fe0c.jpg)
Analysis on Seen/Unseen Objects
(d) Shape MJE
![Image](images/23a5a52c0dfa66404cd988749c528cab0d75d40f7770c4c8619905e9091bee95.jpg)
(e) Object MJE
Fig. 7. Task 2 - Success rate analysis (a, b, c) and interpolation (seen, transparent) and extrapolation (unseen, solid) errors for subject (d) and object (e).
Table 4. Task 3 - MJE (mm) and ranking of the methods on four evaluation criteria.
UsernameExtrapolationInterpolationObjectShape
ETH_NVIDIA24.74 (1)6.70 (3)27.36 (2)13.21 (1)
NLE29.19 (2)4.06 (1)18.39 (1)15.79 (3)
BT31.51 (3)19.15 (5)30.59 (3)23.47 (4)
Table 5. Impact of synthetic data reported by Rokid [^43] with learning from different ratios of synthetic data and the Task 1 training set. 100% = 570K.
Synthetic Data %-10%30%70%100%
Extrapolation MJE (mm)30.1116.7016.1115.8115.73
使用合成数据生成的模型在MJE任务中的表现与排名前两位的方法相近。 BT在任务3中的泛化性能，与团队在任务1和任务2中采用类似思路的方法相比，印证了多模型学习和合成数据增强的重要性。该方法在泛化到未见过的物体时的表现与ETH_NVIDIA方法相近，在泛化到未见过的形状时的表现也与NLE方法相近，这些结果都支持了数据增强的必要性。尽管在该任务中BT的MJE得分仍低于其他方法，但其表现已接近其他算法。 NLE的研究表明，学习估计2D关节+3D关节（误差为28.45毫米）相较于仅学习3D关节（误差为37.31毫米）能提升在Object任务上的表现，插值任务的性能也有所改善。引入PPI后，Object任务的误差进一步降至23.22毫米。NLE通过实验还发现，后期处理中旋转增强的次数（n）对未知形状的拟合效果有显著影响：当n分别为1、4、12时，误差可分别达到17.35毫米、16.77毫米和15.79毫米。 --- ![Image](images/31092bfd6509505e025fd4d7c4ff8b0a183bdb1db336a7231a1270acf4c82664.jpg) ![Image](images/aae8f64de583f8208b64539f16ece5b6c9e08efe5b0a9d3aa3becb8a78e9d9ef.jpg)
(a) Extrapolation Extrapolation Analysis on Objects
![Image](images/e3ad6a68d481c51e3c678cc31106f10b2d7c23487931e640e04f2ea35ecb93c9.jpg) ![Image](images/51a4066a85a598bf0a3ff1502aff0200413d6405e06035a63bb1aca22b996e9b.jpg)
(c) Shape MJE MJE Analysis on Object Axis
(d) Object
![Image](images/f6728940d273fc56c75297b5e184c3a14b8c112d4c6e72896d9a71f3ce72d7f1.jpg)
(e) Interpolation
![Image](images/2c3c634fab93d224ea8efd3331e5acb2cde0f9cecaaaee0a9535195fea95748d.jpg)
(f) Object MJE
Fig. 8. Task 3 - Success rate analysis on the evaluation criteria (a, b, d, e) and MJE error analysis on the seen/unseen subjects (c) and objects (f). For (c) and (f), solid and transparent colors are used to depict extrapolation and interpolation.
关于合成图像的使用分析：在MJE任务中表现最佳的任务1方法（Rokid）利用3D手部模型参数生成了57万张合成图像，这些图像要么是通过扰动模型参数生成（第一阶段），要么直接取自原始模型（第二阶段）。合成数据的使用对初始模型的训练帮助显著（见图5）。表5展示了将这57万张合成数据按不同比例与真实训练图像混合用于模型训练的效果。使用合成数据可使这种简单的3D关节回归器的MJE误差从30.11毫米降至15.73毫米，提升幅度约为50%。此外，Rokid用回归模型进行的10轮训练实验表明，如图5所示，混合深度输入能降低总体外推误差（26.16毫米），这一效果优于直接使用原始深度渲染图（30.13毫米）或平均渲染图（31.92毫米）与真实输入图像结合的情况。由于大规模3D重建训练难度较大，BT在任务2和任务3中仅使用了少量合成图像，数量分别为3.2万张和10万张；不过通过比较任务1和任务2的表现仍能看出合成数据带来的积极效果。 有关定性结果，以及各方法在各维度上的性能、骨干网络架构、集成策略、后期处理技术和参与者获得的关节识别成功率等更多结果与讨论，请参阅本研究附带的补充文档。 --- ## 7 结论 我们为3D手部姿态估计任务精心设计了结构化的训练集和测试集，并组织了相关挑战赛，旨在揭示当前最先进的方法在大规模姿态空间外推方面仍存在不足。我们的分析凸显了集成策略、合成图像的使用、不同类型的手部姿态估计方法（如2D、3D或局部估计器）以及后期处理技术所产生的影响。无论是2D和3D手部姿态估计中的集成技术，还是后期处理阶段的集成手段，都能有效提升许多方法在外推任务中的性能。提交的方法在所有任务中的插值表现均较为出色，但其外推能力存在显著差异。其中，手部与物体交互的场景对大多数评估方法而言，在深度和RGB模态下都是最具挑战性的外推场景。 鉴于这些方法的外推能力有限，使用合成数据就显得颇具吸引力。实际上，只有少数方法会利用合成数据来提升外推效果。任务1的获胜者所使用的57万张合成图像，与合成数据可能达到的巨大规模——甚至是无限规模相比，仍只是一个很小的数字。我们认为，探索这些可能性，将其与数据子采样策略以及真实数据与合成数据之间的域适应技术相结合，是一条前景广阔且有趣的研究方向。如果我们能在连续且无限的姿态空间中“足够密集”地采样，会产生怎样的结果？当我们受限于硬件和时间时，“足够密集”又该如何界定？这些问题都值得深入探讨。 致谢。本研究部分得到了华为技术有限公司和三星电子的支持。S. Baek的研究得到了韩国科学技术信息通信部IITP基金的支持（项目编号：2020-0-01336，UNIST的AIGS项目；项目编号：2020-0-00537，基于5G的低延迟设备-边缘云交互技术开发项目）。 ## 参考文献 [^1]: Baek, S., Kim, K.I., Kim, T.K.: Pushing the envelope for RGB-based dense 3D hand pose estimation via neural rendering. In: CVPR (2019) [^2]: Bhattarai, B., Baek, S., Bodur, R., Kim, T.K.: Sampling strategies for GAN synthetic data. In: ICASSP (2020) [^3]: Boukhayma, A., de Bem, R., Torr, P.H.: 3D hand shape and pose from images in the wild. In: CVPR (2019) [^4]: Cubuk, E.D., Zoph, B., Mane, D., Vasudevan, V., Le, Q.V.: AutoAugment: learning augmentation strategies from data. In: CVPR (2019) [^5]: Garcia-Hernando, G., Yuan, S., Baek, S., Kim, T.K.: First-person hand action benchmark with RGB-D videos and 3D hand pose annotations. In: CVPR (2018) [^6]: Ge, L., Liang, H., Yuan, J., Thalmann, D.: Robust 3D hand pose estimation in single depth images: from single-view CNN to multi-view CNNs. In: CVPR (2016) [^7]: Ge, L., et al.: 3D hand shape and pose estimation from a single RGB image. In: CVPR (2019) ## [^8]: Hampali, S., Oberweger, M., Rad, M., Lepetit, V.: HO-3D: A multi-user, multi-object dataset for joint 3D hand-object pose estimation. arXiv preprint arXiv:1907.01481v1 (2019) --- [^9]: Hasson, Y., et al.: 3D hand shape and pose estimation from a single RGB image. In: CVPR (2019) [^10]: He, K., Zhang, X., Ren, S., Sun, J.: Deep residual learning for image recognition. In: CVPR (2016) [^11]: Huang, W., Ren, P., Wang, J., Qi, Q., Sun, H.: AWR: adaptive weighting regression for 3D hand pose estimation. In: AAAI (2020) 12. Iqbal, U., Molchanov, P., Breuel, T., Gall, J., Kautz, J.：通过潜在2.5D热图回归进行手部姿态估计。载于：Ferrari, V., Hebert, M., Sminchisescu, C., Weiss, Y.（编）《ECCV 2018》。LNCS第11215卷，第125–143页。Springer, Cham（2018年）。 [^13]: Joo, H., et al.: Panoptic studio: a massively multiview system for social motion capture. In: ICCV (2015) 14. Kanazawa, A., Tulsiani, S., Efros, A.A., Malik, J.：从图像集合中学习特定类别的网格重建。载于：Ferrari, V., Hebert, M., Sminchisescu, C., Weiss, Y.（编）《ECCV 2018》。LNCS第11219卷，第386–402页。Springer, Cham（2018年）。 [^15]: Kennedy, J., Eberhart, R.: Particle swarm optimization. In: ICNN (1995) [^16]: Kolotouros, N., Pavlakos, G., Black, M.J., Daniilidis, K.: Learning to reconstruct 3D human pose and shape via model-fitting in the loop. In: ICCV (2019) [^17]: Li, S., Lee, D.: Point-to-pose voting based hand pose estimation using residual permutation equivariant layer. In: CVPR (2019) [^18]: Lin, J., Wu, Y., Huang, T.S.: Modeling the constraints of human hand motion. In: HUMO (2000) [^19]: Moon, G., Chang, J.Y., Lee, K.M.: V2V-PoseNet: voxel-to-voxel prediction network for accurate 3D hand and human pose estimation from a single depth map. In: CVPR (2018) [^20]: Mueller, F., et al.: GANerated hands for real-time 3D hand tracking from monocular RGB. In: CVPR (2018) [^21]: Mueller, F., Mehta, D., Sotnychenko, O., Sridhar, S., Casas, D., Theobalt, C.: Real-time hand tracking under occlusion from an egocentric RGB-D sensor. In: ICCV (2017) [^22]: Oberweger, M., Lepetit, V.: DeepPrior++: improving fast and accurate 3D hand pose estimation. In: ICCV Workshop on HANDS (2017) [^23]: Oikonomidis, I., Kyriazis, N., Argyros., A.A.: Efficient model-based 3D tracking of hand articulations using kinect. In: BMVC (2011) [^24]: Ren, S., He, K., Girshick, R., Sun, J.: Faster R-CNN: towards real-time object detection with region proposal networks. In: NIPS (2015) [^25]: Rogez, G., Weinzaepfel, P., Schmid, C.: LCR-Net++: multi-person 2D and 3D pose detection in natural images. IEEE Trans. Pattern Anal. Mach. Intell. 42(5), 1146–1161 (2019) [^26]: Romero, J., Tzionas, D., Black, M.J.: Embodied hands: modeling and capturing hands and bodies together. ACM Trans. Graph. (Proc. SIGGRAPH Asia) 36(6), 2451–24517 (2017) [^27]: Shin, D., Ren, Z., Sudderth, E.B., Fowlkes, C.C.: Multi-layer depth and epipolar feature transformers for 3D scene reconstruction. In: CVPR Workshops (2019) [^28]: Simon, T., Joo, H., Matthews, I., Sheikh, Y.: Hand keypoint detection in single images using multiview bootstrapping. In: CVPR (2017) ## [^29]: Sinha, A., Choi, C., Ramani, K.: DeepHand: robust hand pose estimation by completing a matrix imputed with deep features. In: CVPR (2016) --- [^30]: Spurr, A., Iqbal, U., Molchanov, P., Hilliges, O., Kautz, J.: Weakly supervised 3D hand pose estimation via biomechanical constraints. arXiv preprint arXiv:2003.09282 (2020) 31. Sun, X., Xiao, B., Wei, F., Liang, S., Wei, Y.：整体人体姿态回归。载于：Ferrari, V., Hebert, M., Sminchisescu, C., Weiss, Y.（编）《ECCV 2018》。LNCS第11210卷，第536–553页。Springer, Cham（2018年）。 [^32]: Tan, M., Le, Q.V.: EfficientNet: rethinking model scaling for convolutional neural networks. In: ICML (2019) [^33]: Tung, H.Y.F., Tung, H.W., Yumer, E., Fragkiadaki, K.: Self-supervised learning of motion capture. In: NIPS (2017) 34. Wan, Q.：Senorita Hand：用于HANDS19挑战赛任务1的分析型3D骨骼渲染器及基于补丁的优化方法——基于深度的3D手部姿态估计（2019年12月）。 [^35]: Wan, Q., Qiu, W., Yuille, A.L.: Patch-based 3D human pose refinement. In: CVPRW (2019) [^36]: Xiang, Y., Schmidt, T., Narayanan, V., Fox, D.: A convolutional neural network for 6D object pose estimation in cluttered scenes. In: RSS (2018) [^37]: Xiong, F., et al.: A2J: anchor-to-joint regression network for 3D articulated pose estimation from a single depth image. In: ICCV (2019) [^38]: Yang, L., Li, S., Lee, D., Yao, A.: Aligning latent spaces for 3D hand pose estimation. In: ICCV (2019) [^39]: Yuan, S., Ye, Q., Garcia-Hernando, G., Kim, T.K.: The 2017 hands in the million challenge on 3D hand pose estimation. arXiv preprint arXiv:1707.02237 (2017) [^40]: Yuan, S., et al.: Depth-based 3D hand pose estimation: from current achievements to future goals. In: CVPR (2018) [^41]: Yuan, S., Ye, Q., Stenger, B., Jain, S., Kim, T.K.: BigHand 2.2M Benchmark: hand pose data set and state of the art analysis. In: CVPR (2017) [^42]: Zhang, X., Li, Q., Mo, H., Zhang, W., Zheng, W.: End-to-end hand mesh recovery from a monocular RGB image. In: ICCV (2019) [^43]: Zhang, Z., Xie, S., Chen, M., Zhu, H.: HandAugment: A simple data augmentation method for depth-based 3D hand pose estimation. arXiv preprint arXiv:2001.00702 (2020) [^44]: Zhou, X., Wan, Q., Zhang, W., Xue, X., Wei, Y.: Model-based deep hand pose estimation. In: IJCAI (2016) [^45]: Zimmermann, C., Brox, T.: Learning to estimate 3D hand pose from single RGB images. In: ICCV (2017)