# 面向3D手部姿态估计的高效虚拟视图选择方法程健 $^{1,2,*}$、万艳光 $^{1,2,*}$、左德欣 $^{1,2}$、马翠霞 $^{1}$、顾健 $^{3}$、谭平 $^{3,4}$、王宏安 $^{1}$、邓晓明 $^{1\dagger}$、张银达 $^{5\dagger}$ $^{1}$中国科学院软件研究所 $^{2}$中国科学院大学 $^{3}$阿里巴巴 $^{4}$西蒙弗雷泽大学 $^{5}$谷歌 {chengjian19, wanyanguang17}@mails.ucas.ac.cn, {xiaoming, cuixia, hongan}@iscas.ac.cn, ## 摘要从单张深度图进行3D手部姿态估计是计算机视觉领域的基础问题，具有广泛的应用价值。然而，由于手部视角变化和遮挡问题，现有方法仍无法得到令人满意的手部姿态估计结果。在本文中，我们提出了一种用于单深度图3D手部姿态估计的新型虚拟视图选择与融合模块。我们提出自动选取多个虚拟视点进行姿态估计，再融合所有视点的结果，实验表明这种方式能够实现准确且鲁棒的姿态估计。为了选出对姿态融合最有效的虚拟视图，我们利用轻量级网络通过知识蒸馏技术，基于虚拟视图的置信度来评估这些视图。在NYU、ICVL和Hands2019这三个主流基准数据集上的实验结果表明：我们的方法在NYU和ICVL数据集上优于现有最先进方法，在Hands2019-Task1任务上也取得了极具竞争力的性能，所提出的虚拟视图选择与融合模块对3D手部姿态估计确实十分有效。 ### 1. 引言手部姿态估计在诸多支持人机交互的应用中发挥着关键作用，比如自动驾驶、AR/VR和机器人领域（Erol等人，2007年）。给定输入图像，手部姿态估计的目标是确定手部骨骼关节的位置。虽然许多研究以彩色图像为输入，但基于深度图像的方法通常能展现出更优的性能（Sun等人，2015年）。以往的研究常常利用深度图和2D CNN网络来回归3D手部关节，或者将深度图通过相机内参转换为点云后，应用基于PointNet的模型（Qi等人，2017年；Ge等人，2018年）。尽管过去十年间基于深度图的手部姿态估计取得了巨大进展，但由于手部关节运动导致的严重视角变化和遮挡问题，现有方法仍无法得到令人满意的手部姿态估计结果。为解决遮挡和视角变化带来的挑战，现有方法往往依赖数据对齐技术， ![Image](images/0b91e4ee635394e12bd11f089be50922d6581ec80fba8c26c4d2de370ec306ed.jpg)

Figure 1: Illustration of view selection for 3D hand pose estimation. The view of the original depth image may not be suitable for pose estimation. We select suitable views for pose estimation from the uniformly sampled virtual views. $\theta$ and $\beta$ represent the azimuth angle and the elevation angle of candidate virtual views, respectively.

该过程会将输入的深度图像转换为规范空间。不过，这种转换要么是在并未充分考虑深度图像三维特性的二维空间中进行的（Sun等人，2015年；Ye、Yuan和Kim，2016年），要么是在人工设定的规范空间中完成的，例如通过主成分分析（Ge等人，2018年）或轴对齐边界框（Ge等人，2016年）。这些方法并未与完整模型进行联合优化，因此性能可能达不到最佳水平。相比之下，基于学习的数据对齐方式更为理想，这一点已在诸多先前研究中得到证实（Jaderberg等人，2015年）。在姿态估计领域，这种方式主要通过多摄像头系统中的自动最佳视角选择来实现（Pirinen、Gärtner和Sminchisescu，2019年；Gärtner、Pirinen和Sminchisescu，2020年），且借助了强化学习技术。然而，在仅能获取单个深度图像的场景下，由于输入信息有限，强化学习的表现通常不佳，而且关于在单个深度输入下进行视角选择是否必要且可行，相关研究也较为有限。我们认为视角选择对于仅基于单个深度图像的三维手部姿态估计而言至关重要。 --- ![Image](images/6797f43d33da89aa071426b40b96ccb6b667f583ebd25955713b2b7248e703e7.jpg)

Figure 2: Illustration of our virtual view selection and fusion pipeline for 3D hand pose estimation.

作为三维几何的透视投影，深度图像可被映射为三维空间中的点云，进而从其他视角渲染成用于三维手部姿态估计的深度图。一方面，二维透视图中同等程度的误差在三维空间中可能引发截然不同的结果；另一方面，机器学习模型往往会更偏好某些典型视角而非其他视角（详见图1示例）。因此，找到合适的虚拟视角来重新投影给定的单个输入深度图像，对于进一步提升手部姿态估计精度至关重要，而这一方面在架构设计上已有充分研究。在本文中，我们针对基于单个深度图像的三维手部姿态估计方法，提出了一种新颖的虚拟视角选择与融合模块，该模块可轻松集成到现有的手部姿态估计模型中以提升性能。我们并非只选取一个最佳视角，而是提出自动选择用于姿态估计的虚拟视角，并融合所有视角的计算结果；实验表明这种方式能够实现精准且稳健的姿态估计。为实现这一目标，我们将输入深度图像重新渲染为所有候选视角下的图像，并训练一个视角选择网络来评估每个虚拟视角对姿态估计的贡献度。实验发现该方法效果显著，但当候选视角数量较多时，运行速度会有所减慢。为解决这一计算问题，我们采用了知识蒸馏技术，结果表明无需显式重新投影输入深度图像即可预测视角置信度。我们的方法贡献可总结如下：我们提出了一种用于从单个深度图像预测三维手部姿态的新型深度学习网络，该网络将输入深度图像的点云渲染为多个虚拟视角，再通过融合各视角的三维姿态来得到最终结果。我们还证明，通过知识蒸馏技术可以在不牺牲运行效率的前提下高效完成视角选择。在手部姿态基准测试上的大量实验表明，我们的方法达到了最先进的性能水平。相关代码可在项目网页查看。 ### 2. 相关工作三维手部姿态估计方法以深度图像为输入，用于估算手部骨骼关节的位置。现有技术包括（Moon、Chang和Lee 2018；Ge、Ren和Yuan 2018；Rad、Oberweger和Lepetit 2018；Wan等人2018；Xiong等人2019）。其中，(Ge、Ren和Yuan 2018)、(Deng等人2020)以及(Moon、Chang和Lee 2018)利用深度的三维表示来估计手部姿态，而(Wan等人2018)、(Rad、Oberweger和Lepetit 2018)以及(Xiong等人2019)则采用深度的二维表示来获取手部姿态。锚点至关节回归网络（A2J）（Xiong等人2019）能够高效且准确地预测姿态：它在图像上设置密集的锚点，通过所有锚点的加权投票来确定最终的关节位置。尽管这些现有技术取得了令人瞩目的成果，但在存在遮挡或视角变化剧烈的情况下，它们的表现会变差。与我们最相关的工作是Ge等人（Ge等人2016）的研究，他们与我们的思路一致，即输入视角可能并不理想，因此将输入的深度图像投影到正面、侧面和顶面视图来进行姿态估计。不过，他们所选取的虚拟视图数量固定（即3个），且视图选择策略是人为设定的，并非通过端到端训练得到。与之不同，我们提出了一种用于三维手部姿态估计的可学习虚拟视图选择与融合模块，该模块能够自适应地选取对点云渲染有信息价值的虚拟视角，并融合这些视角下估计出的三维姿态。在姿态估计领域，也有研究利用强化学习在多摄像头系统中实现视角选择（Pirinen、Gärtner和Sminchisescu 2019；Gärtner、Pirinen和Sminchisescu 2020）。这些研究采用强化学习方法来选择适合三维姿态估计的视图序列。然而，它们都需要多视角采集装置，无法应用于单张输入深度图像。此外，由于视图是依次选择的，这些方法耗时较长，从而降低了推理效率。 ### 3. 方法 ### 3.1 概述在本节中，我们将介绍针对单张深度图像的三维手部姿态估计所提出的虚拟视图选择与融合方法（见图2）。我们首先将深度图像转换为三维点云，并在以手部点云为中心的球面上均匀设置候选虚拟视图。随后将点云渲染成候选视图的深度图，这些深度图 --- 接着被送入网络以预测置信度。三维姿态估计网络会从置信度排名前N位的视图中预测三维手部姿态$^{1}$，最后根据置信度对各个姿态进行融合，从而得到精确的三维手部姿态结果。为了降低计算成本，我们还通过模型蒸馏设计了一种高效的轻量级网络，可直接从输入的深度图像中预测视图置信度；这样一来，当候选视图数量较多时，就能省去点云渲染的计算开销。 ### 3.2 虚拟多视角手部姿态估计我们首先阐述虚拟多视角手部姿态估计的思路。受Ge等人（Ge等人2016）研究的启发——原始摄像头视角可能并不适合手部姿态估计，我们假设更密集的虚拟视图采样会更有效果，因此提出利用多个虚拟视图上渲染出的深度数据来估计三维手部姿态（见图3）。 ![Image](images/aeef8c749d14c65b73681c5d4363b8b9aa8e3939b099ef209f4a6366195df640.jpg)

Figure 3: Our virtual multi-view hand pose estimation baseline.

候选虚拟视图：我们首先定义一组虚拟相机视图，用于重新渲染输入的深度图。具体来说，我们首先将手的深度图转换为点云，然后在以手的点云为中心形成的球面上均匀采样一系列虚拟相机。需要注意的是，较大的相机旋转可能会导致深度渲染出现严重的遮挡问题，因此我们仅保留靠近输入相机视图的相机。实践中，我们在球面上从天顶角$[-\pi/3, \pi/3]$和方位角$[-\pi/3, \pi/3]$的范围内均匀选取25个虚拟相机。具体示意图可参见第4.3节中的图8。虚拟视图深度图渲染：现在可以将输入深度图像生成的点云重新投影到每个虚拟相机上。由于深度图像无法提供完整的手部形状，因此渲染出的深度图可能会部分不完整或存在错误的遮挡情况。不过我们通过实验发现，只要虚拟相机与输入相机的距离不是太远，就不会干扰姿态估计网络。因此我们没有像面部渲染方法（Zhou等人，2020年；Fu等人，2021年）那样对渲染图像进行补全处理。我们还利用CUDA实现了并行渲染流程，以提升渲染速度。基于单张深度图的三维手部姿态估计：对于每张渲染出的深度图，我们采用Anchor-to-Joint回归网络（A2J）（Xiong等人，2019年）作为三维手部姿态估计的骨干网络，该网络在运行效率和高精度方面表现优异。实际上，任何其他基于深度图的三维手部姿态估计模型都可以作为骨干网络使用。 ![Image](images/f802e18ea6bd70350ef84174cb936f4e6cc89ba9036256ccacc70fc675df10ad.jpg)

Figure 4: Confidence network. The network uses CNN to extract features from the intermediate features of pose estimation net, and then uses multi-head attention to fuse the multi-views visual features. We use FC and Softmax to map the fused multi-view features to confidence of each view.

我们采用了A2J中的损失函数，此处简要说明以便理解。A2J的损失函数$L_{A2J}$由目标损失$L_{obj}$和信息性锚点包围损失$L_{info}$组成。目标损失$L_{obj}$旨在最小化预测得到的手部关节与锚点以及真实手部关节之间的误差，而信息性锚点包围损失$L_{info}$则旨在选取位于关节周围的信息性锚点，以增强模型的泛化能力。该损失函数$L_{A2J}$可表述如下： $$ L_{A2J}=\lambda L_{obj}+L_{info} $$ 其中$\lambda$是用于平衡$L_{obj}$和$L_{info}$的权重，其取值为$\lambda = 3$。多视图姿态融合：最后，我们通过融合阶段来整合来自各虚拟相机视图的预测三维手部姿态。在最基础的版本中，我们会利用相机的外部参数将每个视图下的三维关节坐标转换到原始相机坐标系下，再通过平均这些转换后的手部姿态来得到最终的手部姿态预测结果。 ### 3.3 虚拟视图选择上一节提出的方法确实显著提升了手部姿态估计的精度，但存在运行时效率方面的问题。本质上，虚拟多视图基线方法需要多次运行单视图姿态估计网络，因此所需的计算能力与虚拟相机数量成正比（例如本研究中为25个）。从另一个角度看，某些虚拟视图下的姿态预测效果可能不佳，比如由于数据稀疏或遮挡错误导致，这类视图在平均融合后反而会降低整体性能。因此，我们提出了一种视图选择算法，无需将所有视图都送入姿态估计网络，就能选出少量影响较大的优质相机视图。置信度预测：我们的视图选择算法的核心是一个置信度网络，用于评估每个候选虚拟视图的重要性（见图4）。为了节省计算成本，该置信度网络以A2J提取的高层特征作为输入。随后，它利用卷积神经网络提取特征，再借助Vaswani等人于2017年提出的多头注意力机制来融合多视图特征。 --- ![Image](images/f9110bca764246372d145799ac7b18c868395a95c335161e15e1693eebf1c58a.jpg)

Figure 5: View selection with confidence. We use multi-view depth map data to train a “teacher” confidence network for view selection based on confidence (top), and we train a “student” lightweight confidence network for efficient view selection through network distillation (bottom).

多头注意力机制能够引导网络聚焦于作用更重要的视图，例如能提供更精确的姿态信息或用于融合的补充信息的视图。最后，我们通过全连接层将每个视图的特征映射为一个标量，也就是每个视图的置信度。虚拟视图选择与融合：根据对每个虚拟相机视点的预测置信度，我们可以通过从M个候选视图中选取置信度排名前N位的视图来完成视图选择（$N < M$）。经验表明，较大的N往往能生成更精确的姿态结果（详见第4.3节），但计算量也更大。实践中我们发现，从$N = 3$个虚拟视图中选取$M = 25$个视图，其效果就已经优于大多数最先进的方法。利用从所选视图中估计出的姿态，我们可以融合手部姿态并得到最终输出$\hat{J}$，公式如下： $$ \hat{\mathbf{J}}=\sum_{i=1}^{N}c_{i}(\mathbf{R}_{i}\hat{\mathbf{J}}_{i}+\mathbf{t}_{i}) $$ 其中，$\hat{J}_{i}$是第i个所选视图预测出的手部关节位置，$c_{i}$是第i个所选视图经过Softmax处理后的置信度，$[\mathbf{R}_{i}, \mathbf{t}_{i}]$则是第i个所选视图已知的相机外参。联合训练：在训练阶段，我们不会直接对各个视图的置信度进行监督，因为这些置信度本身未知。取而代之的是，我们将置信度网络与姿态估计网络联合训练，仅针对最终的姿态精度进行监督。联合损失$L_{J}$的定义如下： $$ L_{J}=\sum_{i=1}^{K}L_{\tau}(\left\|\mathbf{J}_{i}-\hat{\mathbf{J}}_{i}\right\|) $$ 其中，$\hat{J}_{i}$是通过多视图姿态融合得到的第i个关节的估计位置（见公式(2)），$\mathbf{J}_{i}$是第i个关节的真实位置，K表示手部关节的数量，$L_{\tau}(\cdot)$则是平滑的$_{L1}$损失函数。需要注意的是，由于预测的置信度会同时用于视图选择和融合阶段，因此置信度网络的行为可能会随N值的不同而有所差异。在视图选择阶段，置信度的排序才是关键；而在融合阶段，所选视图的置信度精确值则至关重要。因此，为了达到理想性能，置信度网络应针对特定的N值进行训练。不过在实践中，用N=M训练的单一模型仍能适用于大多数不同的N值，虽然性能略差，但仍能满足使用需求。用于高效置信度预测的知识蒸馏：通过视图选择，我们能将姿态估计网络的前向传播次数从总的虚拟视图数M减少到数量少得多的所选视图数N，从而大幅降低计算量。但我们仍观察到帧率有明显下降，主要原因有两个：1）为了估计置信度，输入深度图仍需渲染到所有候选相机视图；2）置信度网络仍需处理所有渲染后的深度图，尽管该网络被设计得较为轻量，但运行其中的多头注意力机制仍会消耗不少资源。我们采用网络蒸馏技术来解决这一运行时问题。具体来说，我们将置信度网络作为教师网络，训练出一个更轻量的学生网络（由ResNet-18和全连接层组成）。更重要的是，该学生网络仅以原始深度图为输入，就能直接输出针对全部M=25个视角的置信度值。这有效地消除了将输入深度图重新渲染到所有虚拟相机的需求。为了训练学生网络，我们直接使用教师网络预测的置信度作为真实值。损失函数定义如下： --- dence predicted by teacher network as the ground truth. The loss is defined as $$ L_{light}=\sum_{i=1}^{M}L_{\tau}(\beta(c_{i}-\hat{c}_{i})) $$ 其中，$\beta$是设置为100的缩放因子，$\hat{c}_{i}$是来自教师网络的置信度真实值，即对应M个视角的多头注意力网络输出，而$c_{i}$则是学生网络的输出结果。训练完成后，推理阶段便不再需要教师网络，学生网络能够以高效的方式支持视角选择与融合操作。 ### 3.4 实现细节我们在一台配备两颗Intel Xeon Silver 4210R处理器、512GB内存和Nvidia RTX3090 GPU的工作站上训练和评估模型。模型基于PyTorch框架实现。优化器选用Adam，初始学习率设为0.001，每个epoch后学习率会衰减为原来的0.9。在数据增强方面，我们会随机缩放裁剪后的深度图、扰动点云的质心位置，在渲染多视角深度图时还会随机旋转相机。对于所有平滑$_{L1}$损失函数而言，二次项和线性项之间的切换点被设定为1.0。我们的网络由3D姿态估计网络（即A2J）、教师置信度网络以及轻量型学生置信度网络组成。网络输入为从输入深度图中裁剪出的$176 \times 176$手部区域，A2J的骨干网络采用ResNet-50。我们首先共同训练3D姿态估计网络和教师置信度网络，损失函数可表示为： $$ L_{viewsel}=L_{A2J}+\gamma L_{J} $$ 其中，$\gamma = 0.1$是用于平衡各项损失项的系数。随后我们固定这两个网络的参数，利用$L_{light}$来训练轻量型学生置信度网络。 ### 4. 实验 ### 4.1 数据集与评估指标 NYU手部姿态数据集（NYU）（Tompson等人，2014年）包含72,757帧训练数据和8,252帧测试数据。该数据集标注了36个手部关节，但按照（Tompson等人，2014年）中的评估协议，我们仅使用其中的14个手部关节进行评估。 ICVL手部姿态数据集（ICVL）（Tang等人，2014年）包含331,006帧训练数据和1,596帧测试数据。该数据集标注了16个手部关节。 Hands19挑战赛任务1数据集（Hands19-Task1）（Armagan等人，2020年）包含来自5名受试者的175,951张训练深度图像，以及来自10名受试者的124,999张测试深度图像，其中5名受试者同时出现在训练集中。由于该数据集涵盖了极其广泛的视角和关节活动范围，因此极具挑战性。评估指标：我们采用（Tang等人，2014年）中提出的标准指标来评估手部姿态估计性能，即平均关节误差，以及所有预测关节与真实值之间距离均不超过给定最大阈值的测试样本所占百分比。 ### 4.2 与现有最先进方法的比较

Methods	NYU	ICVL
HandPointNet (Ge et al. 2018)	10.54	6.93
DenseReg (Wan et al. 2018)	10.21	7.24
P2P (Ge, Ren, and Yuan 2018)	9.05	6.33
A2J (Xiong et al. 2019)	8.61	6.46
V2V (Moon, Chang, and Lee 2018)	8.42	6.28
AWR (Huang et al. 2020)	7.37	5.98
Ours-1view	7.34	5.16
Ours-3views	6.82	4.86
Ours-9views	6.53	4.77
Ours-15views	6.41	4.76
Ours-25views	6.40	4.79

Table 1: Comparison mean joint 3D error (mm) and ranking result with state-of-art methods on NYU dataset and ICVL dataset. “Ours-1view”, “Ours-3views”, “Ours-9views” and “Ours-15views” are the results of our method with selected 1, 3, 9 and 15 views from 25 uniformly sampled views, respectively. “Ours-25views” denotes the results of our method with 25 uniformly sampled views.

![Image](images/558813a2e9757d4e6aa19f112ca6ab30911dd5999d614ae0ccc86ef0d4ec5393.jpg) ![Image](images/42ea92a674e3ad3382de49b0c91e7545cd1dc972e84f2b8c1a10cca5bc7739f9.jpg)

Figure 6: Comparison of our proposed method with state-of-the-art methods on NYU dataset. Left: mean joint error per hand joint. Right: the percentage of success frames over different error thresholds.

在本实验中，我们采用轻量级的“学生”置信度网络来进行视图选择与姿态融合。我们首先在NYU数据集和ICVL数据集上将我们的方法与最先进的方法进行比较。DenseReg（Wan等人，2018年）、A2J（Xiong等人，2019年）以及AWR（Huang等人，2020年）直接利用深度图进行姿态估计。HandPointNet（Ge等人，2018年）、P2P（Ge、Ren和Yuan，2018年）以及V2V（Moon、Chang和Lee，2018年；Hruz、Kanis和Krňoul，2021年）则利用深度图的3D表示来进行姿态估计。表1展示了平均关节误差。图6显示了不同误差阈值下的成功帧百分比以及各关节的误差。由于AWR并未公布其在NYU数据集上的最佳预测结果，因此我们在图6中未展示AWR的数据。值得注意的是，仅选择1个视图时，我们的方法就已经优于其他所有方法；而当选择的视图数量增加时，性能还会继续提升。这清楚地表明，我们的视图选择机制在寻找更优的虚拟视图以进行姿态估计方面十分有效。 --- ![Image](images/aebba548f881e22428663a885dae5084aae8be56dcbcba24748bb1c0107b2c14.jpg)

Figure 7: Comparison visualization results with state-of-art methods on NYU dataset. “1 view”, “3 views”, “9 views” and “15 views” are the results of our method with selected 1, 3, 9 and 15 views from 25 uniformly sampled views, respectively. “25 views” denotes the results of our method with 25 uniformly sampled views.

Methods	Mean error (mm)
V2V (Moon, Chang, and Lee 2018)	15.57
AWR (Huang et al. 2020)	13.76
A2J (Xiong et al. 2019)	13.74
Rokid (Zhang et al. 2020)	13.66
Ours-1view	14.14
Ours-3views	13.24
Ours-9views	12.67
Ours-15views	12.51
Ours-25views	12.55

Table 2: Comparison with state-of-art methods on Hands19-Task1. We show the mean joint error on the test dataset split "Extrapolation", which aims to evaluating the model generalization performance and is the main evaluation metric on Hands19-Task1. "Ours-1view", "Ours-3views", "Ours-9views", "Ours-15views" and "Ours-25views" have the same meaning as shown in Table 1.

通过基于置信度的融合，更多的视图能够带来更好的效果。图12展示了在NYU数据集的几个测试样例上，我们的方法与其他方法的定性比较结果。在存在严重遮挡或深度信息缺失的视图中，我们的方法表现尤为出色，例如第3行所示。这一结果符合预期，因为从垂直方向的虚拟相机观察手掌时所生成的渲染图像，可能更有助于解读输入的深度信息。我们还在Hands19-Task1数据集上将我们的方法与最先进的3D手部姿态估计方法进行了比较。关于最先进方法的细节和结果引自（Armagan等人，2020年）。Rokid（Zhang等人，2020年）训练2D CNN来回归关节位置，并使用了额外的合成数据。与我们方法中使用的A2J骨干网络相比，A2J（Xiong等人，2019年）采用更高分辨率的深度图作为输入（$384 \times 384$）、更深的骨干网络（ResNet-152），并且采用了10个骨干模型的集成。AWR（Huang等人，2020年）也提供了基于模型集成的结果。表2展示了性能对比情况。我们可以发现，选择3个视图的我们的方法优于其他方法。当仅选择1个视图时，我们的方法性能略逊于AWR、A2J和Rokid，这可能是由于AWR和A2J采用了模型集成技术，而Rokid（Zhang等人，2020年）使用了额外的合成训练数据所致。更多实验结果可在补充文档中查看。 ### 4.3 消融实验 ![Image](images/9ccd07c54ce94fc55e88f72181207f754004cca471c81eb065edfe9786ffd6a2.jpg)

Figure 8: Uniform sampling schemes. 25 virtual cameras are set uniformly. Red cameras are candidate virtual views. The figures from left to right show how 3, 9, 15, and 25 candidate virtual views are uniformly sampled.

视图数量的影响为了探究视图数量对我们方法的影响，我们通过生成3、9、15、25个均匀采样的虚拟视图，在NYU数据集、ICVL数据集和Hands19-Task1数据集上比较手部姿态估计的性能（见表3中的“UNIFORM”列）。我们还在图13中可视化了在NYU数据集上使用不同数量视图时我们方法的结果。我们发现，随着虚拟视图数量的增加，手部姿态估计误差会逐渐减小。因此，虚拟多视图能够提升手部姿态估计的性能。可视化结果显示，使用25个视图时，估计出的腕关节以及深度值缺失区域的关节比使用3个视图时更为准确。视图选择的影响在本节中，我们验证了置信度在视图选择中的有效性。我们利用自己的方法从25个候选视图中选出3个、9个或15个视图。 ---

	NYU			ICVL			Hands2019-Task1
Number of views	UNIFORM	SELECT	LIGHT	UNIFORM	SELECT	LIGHT	UNIFORM	SELECT	LIGHT
1 view	7.93	7.23	7.34	5.56	5.18	5.16	14.39	14.03	14.14
3 views	7.14	6.73	6.82	5.27	4.85	4.86	13.67	13.07	13.24
9 views	6.77	6.43	6.53	4.96	4.77	4.77	12.81	12.60	12.67
15 views	6.55	6.38	6.41	4.85	4.76	4.76	12.61	12.51	12.51
25 views	6.40	-	-	4.79	-	-	12.55	-	-

Table 3: Comparison of mean joint error using uniform sampling and view selection on NYU, ICVL and Hands2019-Task1. "UNIFORM" denotes using uniformly sampled views. "SELECT" denotes selecting views from 25 uniformly sampled views with the "teacher" confidence network. "LIGHT" denotes selecting views from 25 uniformly sampled views with the "student" lightweight confidence network.

![Image](images/71b6904317224948a775e5a1e0394feecc81ce1d6bed0d1cceb78f0093fdac55.jpg)

Figure 9: Comparison the visualization results of our method using different numbers of views on NYU dataset.

可与图8所示的统一采样方法进行比较。尽管统一采样方法很简单，但它实际上是一种非常强大的策略，因为它大致能保证至少有一个视角能接近某个优质候选结果。表3展示了在NYU数据集、ICVL数据集和Hands19-Task1数据集上的实验结果。针对每项实验，我们分别展示了使用教师网络和学生置信度网络的性能表现（“SELECT”代表教师网络，“LIGHT”代表学生网络）。在所有设定下，我们的视角选择方法的表现始终优于统一采样方法，这表明预测的置信度在视角选择中确实有效。虽然使用学生网络得到的性能略逊于教师网络，但整体计算成本却显著降低。如表4所示，使用学生网络后FPS几乎翻倍。在ICVL数据集上，学生网络的表现甚至优于教师网络，这可能是由于该数据集的标注质量较低且规模较小所致。更多关于随机采样视角的对比内容可参见补充文档。不同多视角融合方法的对比我们现在对基于置信度的融合方法进行评估。表5中，我们——

Number of views	UNIFORM	SELECT	LIGHT
1 view	61.57	27.92	47.43
3 views	56.71	28.19	46.42
9 views	41.56	27.61	39.48
15 views	36.50	27.95	34.57
25 views	26.71	-	-

Table 4: FPS comparison of uniform sampling and view selection on NYU dataset. "UNIFORM", "SELECT", "LIGHT" have the same meaning as shown in Table 3.

Component	NYU	ICVL	Hands2019-Task1
w confidence	6.40	4.79	12.55
w/o confidence	6.58	4.88	12.75

Table 5: Comparison of mean 3D joint error using different multi-view fusions on 25 uniformly sampled views.

将其与NYU数据集、ICVL数据集以及Hands2019-Task1数据集上未引入置信度的直接平均融合方法进行对比。基于置信度的融合方法在这三个数据集上的表现均优于直接平均融合方法，这说明置信度对引导融合阶段同样具有积极作用。 ### 5. 结论本文提出了一种深度学习网络，用于从单张深度图像中学习3D手部姿态估计：该网络将点云渲染为虚拟多视角，通过融合每个视角的3D姿态来获得更精确的3D手部姿态。同时，我们构建的置信度网络利用多头注意力机制来计算每个虚拟视角的置信度。该置信度被用于提升融合和视角选择过程中3D重建的精度。为了高效获取每个视角的置信度，我们通过知识蒸馏技术得到了轻量级的置信度网络。在主要基准数据集上的实验验证了所提方法的有效性。我们的方法也能为场景解析、基于深度的重建等相关研究提供启发。 --- 致谢本研究得到了国家自然科学基金（编号61473276）、北京市自然科学基金（L182052）以及中国科学院杰出青年研究员计划的支持。 ## 参考文献 Armagan, A.; Garcia-Hernando, G.; Baek, S.; Hampali, S.; Rad, M.; Zhang, Z.; Xie, S.; Chen, M.; Zhang, B.; Xiong, F.; 等. 2020. 针对手物交互场景下3D手部姿态估计的未见视角、关节运动、形状和物体泛化能力测评。载于欧洲计算机视觉会议论文集，第85–101页。 Deng, X.; Zhu, Y.; Zhang, Y.; Cui, Z.; Tan, P.; Qu, W.; Ma, C.; 王H. 2020. 基于单张深度图像的手部形状恢复的弱监督学习。《IEEE图像处理汇刊》，第30卷：532–545页。 Erol, A.; Bebis, G.; Nicolescu, M.; Boyle, R. D.; Twombly, X. 2007. 基于视觉的手部姿态估计：综述。《计算机视觉与图像理解》，第108卷（1-2期）：52–73页。 Fu, C.; Hu, Y.; Wu, X.; Wang, G.; Zhang, Q.; 何R. 2021. 具有极端姿态和表情的高保真人脸操控。《IEEE信息取证与安全汇刊》，第16卷：2218–2231页。 Gärtner, E.; Pirinen, A.; Sminchisescu, C. 2020. 用于主动人体姿态估计的深度强化学习。载于人工智能顶级会议AAAI论文集，第34卷，第10835–10844页。葛L.、蔡Y.、翁J.和袁J. 2018年。Hand PointNet：基于点集的3D手部姿态估计。载于IEEE/CVF计算机视觉与模式识别会议论文集。葛L.、梁H.、袁J.和塔尔曼D. 2016年。单深度图像中的鲁棒3D手部姿态估计：从单视图CNN到多视图CNN。载于IEEE/CVF计算机视觉与模式识别会议论文集。葛L.、任Z.和袁J. 2018年。用于3D手部姿态估计的点对点回归PointNet。载于欧洲计算机视觉会议论文集，第475–491页。赫鲁兹M.、卡尼斯J.和克尼奥尔Z. 2021年。以自我为中心的活动中手部姿态估计。IEEE Access，第9卷：10533–10547页。黄W.、任P.、王J.、齐Q.和孙H. 2020年。AWR：用于3D手部姿态估计的自适应加权回归方法。载于AAAI人工智能会议论文集，第34卷，第11061–11068页。贾德伯格M.、西蒙扬K.、齐瑟曼A.等 2015年。空间变换网络。神经信息处理系统进展，第28卷：2017–2025页。文G.、张J.Y.和李K.M. 2018年。V2V-PoseNet：从单张深度图进行精确3D手部和人体姿态估计的体素到体素预测网络。载于IEEE/CVF计算机视觉与模式识别会议论文集，第5079–5088页。皮里宁A.、格特纳E.和斯米奇塞斯库C. 2019年。穹顶到无人机：用于3D人体姿态重建的自监督主动三角测量技术。神经信息处理系统进展，第32卷：3912–3915页。齐C.R.、苏H.、莫K.和吉巴斯L.J. 2017年。PointNet：基于点集的3D分类与分割深度学习模型。载于IEEE/CVF计算机视觉与模式识别会议论文集，第652–660页。拉德M.、奥伯韦格M.和勒佩蒂V. 2018年。用于从合成图像中快速准确推断3D姿态的特征映射。载于IEEE/CVF计算机视觉与模式识别会议论文集，第463–467页。孙X.、魏Y.、梁S.、唐X.和孙J. 2015年。级联式手部姿态回归。载于IEEE/CVF计算机视觉与模式识别会议论文集，第824–832页。唐D.、张H.J.、特贾尼A.和金T.-K. 2014年。潜在回归森林：3D关节手部姿态的结构化估计。载于IEEE/CVF计算机视觉与模式识别会议论文集，第3786–3793页。汤普森J.、斯坦M.、勒昆Y.和佩尔林K. 2014年。使用卷积网络实时连续恢复人手姿态。ACM图形学交易（TOG），第33卷第5期：169页。瓦斯瓦尼A.、沙泽尔N.、帕尔马尔N.、乌斯佐凯特J.、琼斯L.、戈麦斯A.N.、凯泽L.和波洛舒金I. 2017年。注意力机制就是一切。arXiv预印本arXiv:1706.03762。万C.、普罗布斯特T.、范古尔L.和姚A. 2018年。用于手部姿态估计的密集3D回归模型。载于IEEE/CVF计算机视觉与模式识别会议论文集，第5147–5156页。熊F.、张B.、肖Y.、曹Z.、余T.、周J.T.和袁J. 2019年。A2J：用于从单张深度图像进行3D关节姿态估计的锚点到关节回归网络。载于IEEE/CVF国际计算机视觉会议论文集，第793–802页。叶Q.、袁S.和金T.-K.于2016年提出一种用于分层混合手部姿态估计的带部分粒子群优化的空间注意力深度网络。载于《欧洲计算机视觉会议论文集》，第346–361页。张Z.、谢S.、陈M.和朱H.于2020年提出HandAugment：一种用于基于深度的3D手部姿态估计的简单数据增强方法。arXiv预印本。周H.、刘J.、刘Z.、刘Y.和王X.于2020年提出Rotate-and-render：从单视图图像实现无监督照片级真实感人脸旋转的方法。载于《IEEE/CVF计算机视觉与模式识别会议论文集》，第5911–5920页。 --- ## 附录 ### 1. 置信度网络的网络细节本节将详细介绍主提交文档中第3.3节和图4所涉及的“教师”置信度网络的架构。为了获取每个视角的置信度，我们的方法首先利用卷积神经网络提取特征，接着通过多头注意力机制（Vaswani等人，2017）融合多视角特征，最后通过全连接层将融合后的多视角视觉特征转换为每个视角的置信度。图10展示了用于特征提取的卷积神经网络的架构细节。该网络以A2J输出的低层特征为输入，采用3个卷积层进行特征编码。网络为每个视角提取256维的特征，随后将多个视角提取的特征送入多头注意力模块（Vaswani等人，2017）以实现特征融合。在多头注意力模块中，我们将头数$n_{head}$设为1，$d_q$、$d_k$、$d_v$分别为Q、K和V的维度（定义参见Vaswani等人，2017），它们均被设为64。 ![Image](images/f7f3be57383da1852e485c3f273e9be52a32745eda1b8b5421923d509fa89605.jpg)

Figure 10: Network details of the convolutional neural network for feature extraction. ‘K’ stands for ‘kernel size’, ‘S’ stands for ‘stride’, and ‘P’ stands for ‘padding’.

### 2. 更多实验 ### 2.1 均匀采样视角与随机采样视角的对比在本文中，我们采用球面上的均匀采样来获取候选虚拟视角。为了探究随机采样视角对手部姿态估计的影响，我们比较了使用随机采样虚拟视角与球面上均匀采样视角时的手部姿态估计性能。在随机采样视角的实验中，视角是从球面上的天顶角$[-\pi/3, \pi/3]$和方位角$[-\pi/3, \pi/3]$范围内随机采样的，且采用的虚拟相机数量与均匀采样视角时相同。表6对比了在NYU、ICVL和Hands2019-Task1数据集上均匀采样与随机采样的平均关节误差。我们可以观察到，随机采样视角的性能劣于均匀采样视角的性能。从概念上讲，随机采样视角的模式比均匀采样更复杂，导致随机采样视角的置信度预测难度大幅增加。因此，我们选择采用均匀采样来获取候选虚拟视角。 ### 2.2 ICVL数据集上的详细结果与其他最先进方法的更多对比图11展示了不同误差阈值下各关节的误差以及成功帧的百分比。由于AWR在ICVL数据集上的最佳预测结果尚未公布，因此图11中未展示AWR（Huang等人，2020）。我们可以观察到，在ICVL数据集上我们提出的方法的性能大幅优于其他方法。图12展示了在ICVL数据集上与最先进方法的定性比较结果。尤其是，我们的方法在指尖部位的表现优于其他方法（如第1行所示），即使在严重遮挡情况下也能取得良好效果（如第2行所示）。视图数量的影响：图13展示了在ICVL数据集上采用不同视图数量时我们方法的性能表现。可以看出，使用25个均匀采样的视图比使用3个均匀采样的视图能获得更好的手部姿态估计效果。特别是，使用25个均匀采样视图得到的指尖关节估计结果更佳。 ---

	NYU		ICVL		Hands2019-Task1
Number of views	UNIFORM	RANDOM	UNIFORM	RANDOM	UNIFORM	RANDOM
1 view	7.93	8.81	5.56	5.96	14.39	16.18
3 views	7.14	7.33	5.27	5.28	13.67	13.97
9 views	6.77	6.68	4.96	4.93	12.81	13.07
15 views	6.55	6.52	4.85	4.88	12.61	12.92
25 views	6.40	6.41	4.79	4.83	12.55	12.83

Table 6: Comparison of mean joint error using uniform sampling and random sampling on NYU, ICVL and Hands2019-Task1. "UNIFORM" denotes using uniformly sampled views. "RANDOM" denotes using randomly sampled views.

![Image](images/eba2657b3547a41bccba6549f8bf5540ea077554bc45b2b14a43d4e3ab302f33.jpg) ![Image](images/36ff4e423d4e5cba11d66a5f0bb0c4600abb5a8cf2a41d2c1b23c93a8bfb0062.jpg)

Figure 11: Comparison of our proposed method with state-of-the-art methods on the ICVL dataset. Left: 3D distance errors per hand joints. Right: the percentage of success frames over different error thresholds.

![Image](images/641dcedaf940bbd6dc78e5aa436f2497a46288b571d18d46a693a02162201f49.jpg)

Figure 12: Comparison visualization results with state-of-art methods on ICVL dataset. “1 view”, “3 views”, “9 views” and “15 views” are the results of our method with selected 1, 3, 9 and 15 views from 25 uniformly sampled views, respectively. “25 views” denotes the results of our method with 25 uniformly sampled views.

--- ![Image](images/030426a5a51d0bb711b60d6e4de633dcb7fb1c047969467e3b0586616cdafe51.jpg) 3个均匀采样的视图 ![Image](images/3505649c3c50b7a33ecf70d17a2b26b3fbabe173d6a3aec620c01aa0ecced841.jpg) ![Image](images/9eb636b380656f83509e56605c6bee958445f8298f22fab4d86af083960978c6.jpg) 25个均匀采样的视图真实值

Figure 13: Qualitative comparison of our method using different numbers of views on the ICVL dataset.