# HandMvNet：基于多视角交叉注意力融合的实时3D手部姿态估计
Muhammad Asad Ali $^{1,2}$、Nadia Robertini $^{1}$ 和 Didier Stricker $^{1,2}$
$^{1}$增强视觉小组，德国人工智能研究中心（DFKI），凯撒斯劳滕，德国
$^{2}$计算机科学系，凯撒斯劳滕-兰道大学（RPTU），凯撒斯劳滕，德国
{ 名名 { firstname middlename.lastname} @dfki.de
关键词：手部重建、手部姿态估计、多视角重建。
摘要：在这项工作中，我们提出了HandMvNet，这是首批旨在从多视角相机图像中估计3D手部运动和形状的实时方法之一。与以往存在尺度-深度歧义问题的单目方法不同，我们的方法能够确保手部姿态和形状的绝对位置准确且一致。这一成果是通过一种多视角注意力融合机制实现的，该机制可有效整合来自多个视角的特征。与以往的多视角方法相比，我们的方法无需将相机参数作为输入即可学习3D几何结构。HandMvNet在大幅缩短推理时间的同时，仍能取得与最先进方法相媲美的效果，因此适用于实时应用场景。在公开数据集上的评估结果显示，在相同设置下，HandMvNet在定性和定量方面均优于以往的方法。代码可在github.com/pxxploiter/HandMvNet获取。
## 1 引言
3D手部姿态估计已成为计算机视觉领域的重要研究方向，其在增强现实（AR）、虚拟现实（VR）和机器人技术等领域的应用前景广阔。精准捕捉和重建手部运动的能力，对于提升人机交互体验、实现更自然直观的基于手势的控制具有重要意义。在AR和VR场景中，逼真且响应迅速的手部姿态估计能够丰富沉浸式体验，让用户无缝地与虚拟环境互动；同样，在机器人技术中，精确的手部姿态估计对于机器人手重定向等任务至关重要，这类任务要求机器人手模仿人类动作来完成复杂操作。
传统的3D手部姿态估计方法主要依赖单视角图像（Boukhayma等人，2019年；Chen等人，2021a,b年；Ge等人，2019年；Moon和Lee，2020年；Park等人，2022年）。然而，基于单目视图的3D手部姿态估计面临诸多挑战：深度和尺度歧义问题导致难以确定手部与相机之间的精确距离和大小，这大大增加了估计难度。因此，许多方法只能估计相对于根节点的手部顶点（Moon和Lee，2020年；Ge等人，2019年；Zhou等人，2020年）。此外，手指相互重叠或手部被其他物体部分遮挡造成的遮挡现象，进一步增加了准确估计手部姿态的难度（Park等人，2022年）。再加上不同的视角和未知的相机视点带来的不确定性，使得这项任务更具挑战性。
Figure 1: Comparison of error vs. inference speed across different methods. Our approach outperforms other methods in both inference speed and accuracy.
为解决单目视图存在的局限性，多视角方案被提出作为解决方案（Yu等人，2021年；Chao等人，2021年；Yang等人，2022年；Hampali等人，2020年）。多视角……
为了解决单目视图存在的局限性，多视图方案被提出作为解决方案（Yu等人，2021；Chao等人，2021；Yang等人，2022；Hampali等人，2020）。多视图
---
由多个从不同角度环绕手部放置的摄像头组成的系统，能够显著减少遮挡和深度模糊带来的影响，从而更精确、可靠地估计手部的姿态与形状在三维空间中的绝对位置。大多数多视角方法（Guan等人，2006年；Yang等人，2023年；Zheng等人，2023年）在计算上开销较大，这主要是由于输入数据量增加以及架构设计上更侧重定性结果而非计算效率所致。
在本研究中，我们提出了HandMvNet——一种用于从多视角输入中高效且精确地估计三维手部姿态的新型神经网络架构。本研究的主要贡献如下：
- 我们提出了一种利用多视角数据进行精确三维手部姿态估计的框架。
• 我们的方法能够实现实时性能，因此适用于对时间要求较高的应用场景。
• 我们证明了该方法在有或无相机校准的情况下均能有效运行。
## 2 相关工作
我们在公开的多视角数据集上对复杂场景下的手部姿态与形状重建进行了大量实验，这些场景包括物体交互导致的严重遮挡情况。实验结果表明，HandMvNet能够高效且精确地估计手部姿态与形状，无论是在定性还是计算效率方面均优于现有的最先进方法。
大多数方法侧重于从单目输入中估计手部姿态（Ge等人，2019年；Boukhayma等人，2019年；Zhou等人，2020年；Chen等人，2021a,b；Park等人，2022年；Moon和Lee，2020年）。尽管已有多种手部表示方法被提出（Chen等人，2021a；Malik等人，2020年、2021年），但可变形手部网格模型（Mano（Romero等人，2022年），包含密集的三维手部表面表示）仍是应用最广泛的模型（Chen等人，2021a；Park等人，2022年；Zhou等人，2020年；Boukhayma等人，2019年）。与Ge等人（2019年）的研究类似，我们直接估计手部网格，无需依赖MANO模型参数，从而提供了一种灵活的无模型解决方案。随着Transformer架构的兴起（Vaswani等人，2017年），这类框架也被应用于三维姿态估计领域，并展现出了良好的效果（Park等人，2022年；Zhao等人，2022年；Lin等人，2021年）。尽管近年来取得了诸多进展，但由于输入信息有限以及尺度-深度模糊问题，大多数方法仍专注于估计相对于根节点的手部姿态。在本研究中，我们利用交叉注意力机制整合多视角的信息，从而能够估计上下文相关的三维绝对手部姿态。与其他多视角方法（Ge等人，2016年；He等人，2020年；Han等人，2022年；Remelli等人，2020年；Iskakov等人，2019年）相比，我们的方法避免了采用会降低推理速度的传统体素化或其他中间表示方式。虽然大多数方法都需要进行多视角相机校准，主要是为了通过代数三角测量和几何先验来估计三维手部姿态（Remelli等人，2020年；Bartol等人，2022年；Chen等人，2022年；Iskakov等人，2019年；Tu等人，2020年；He等人，2020年；Zhang等人，2021b），但我们提出了一种更为灵活的无校准解决方案，该方案也可选择性地纳入相机参数。基于Transformer的隐式跨视角融合技术的最新进展（Yang等人，2023年；Shuai等人，2022年；Ma等人，2022年）为我们的多视角交叉注意力融合方法提供了灵感。
## 3 方法
我们的HandMvNet方法旨在从多视角RGB图像中估计3D手部关节和顶点。在本节中，我们将全面介绍所提出的模型架构。
### 3.1 架构
图2展示了HandMvNet的整体流程。该网络处理一组来自C个相机视角的多视角RGB图像$\mathcal{I} = \{\mathbf{I}_i\}_{i=1}^C$，并估计3D手部关节$\mathbf{J}^{3D} \in \mathbb{R}^{\mathcal{I} \times 3}$和顶点$\mathbf{V}^{3D} \in \mathbb{R}^{\mathcal{V} \times 3}$，其中$\mathcal{I} = 21$和$\mathcal{V} = 778$。
该架构包含三个关键阶段：(1) 预融合：每个输入图像被独立处理以提取特定视角的特征并估计2D关节位置，所有视角共享相同的网络权重。(2) 融合：将提取的特征进行融合，以整合多视角信息从而增强3D理解能力（见图3b）。(3) 后融合：最后，对融合后的特征进行优化，以回归出3D手部关节和顶点，生成完整的3D手部重建结果。以下各节将详细描述每个阶段。
#### 3.1.1 预融合
骨干网络：我们流程的第一阶段采用ResNet50（He等人，2016）作为骨干网络，从输入图像中提取特定于视图的图像特征。该骨干网络在ImageNet数据集上预训练
---
Figure 2: HandMvNet' architecture consists of three stages: (a) Sampling joint-aligned features using predicted 2D joints from each image (b) Fusing multi-view sampled features, (c) Regressing 3D hand joints and vertices.
Figure 3: Modules of HandMvNet's architecture: (a) Point Feature Sampler. (b) Multi-view Feature Fusion. (c) Attention Module. (d) Joint & Mesh Decoder
（Deng等人，2009），其权重在所有相机视图中共享。对于第i个相机视图，骨干网络处理图像$\mathbf{I}_i$并输出对应的特定视图特征图$\mathbf{Z}_i \in \mathbb{R}^{1024 \times 32 \times 32}$。
2D关节估计器：在此阶段，两个卷积层对特征$\mathbf{Z}_i$进行细化，以生成关节特定的热图$\mathbf{H}_i$。为了从热图中提取2D关节位置，我们应用可微的soft-argmax函数（Sun等人，2018），该函数将热图转换为可直接使用的关节坐标$\mathbf{J}_i^{2D} = \text{soft-argmax}(f_{\text{CNN}}(\mathbf{Z}_i)) \in \mathbb{R}^{j \times 2}$。
点特征采样器：在最终的融合前阶段，我们从$\mathbf{Z}_i$中提取特定视图的特征（见图3a），通过卷积层将其维度缩减为$\mathbb{R}^{512 \times 32 \times 32}$，这些特征对应2D关节位置$\mathbf{J}_i^{2D}$、$\mathbf{S}_i = \text{sampler}(\mathbf{Z}_i, \mathbf{J}_i^{2D})$、$\mathbf{S}_i \in \mathbb{R}^{j \times 512}$。来自所有相机视图的采样后关节对齐特征会被拼接起来，形成聚合后的多视图特征表示$\mathbf{S} = \text{concat}(\mathbf{S}_1, \mathbf{S}_2, \ldots, \mathbf{S}_C)$，其中$\mathbf{S} \in \mathbb{R}^{C \mathcal{I} \times 512}$。
位置编码：为了保留裁剪后的手部图像中的关键空间和几何信息，我们引入了三种类型的位置编码：
位置编码：为了保留裁剪后的手部图像中的关键空间和几何信息，我们引入了三种类型的位置编码：
1) $\mathrm{PE}_{\mathrm{joint}} \in \mathbb{R}^{C_{J} \times 2}$ 将二维关节位置嵌入特征向量中，以捕捉手的骨骼结构以及每个视图中的相对关节位置。
2) $\mathrm{PE}_{\mathrm{crop}} \in \mathbb{R}^{C \times 10}$ 用于编码手部裁剪区域相对于摄像头的位置（Prakash等人，2023），其中每个角点及一个中心点分别由 $(x, y)$、$\boldsymbol{\theta}_{x} = \tan^{-1}((x - p_{x})/f_{x})$ 和 $\boldsymbol{\theta}_{y} = \tan^{-1}((y - p_{y})/f_{y})$ 计算得出；此处 $p_{x}$、$p_{y}$ 为主点坐标，而 $f_{x}$、$f_{y}$ 为焦距。对于视图中的每个关节，$\mathrm{PE}_{\mathrm{crop}}$ 会被重复 $\mathcal{I}$ 次。仅当具备摄像头内参信息时，才会应用这种编码方式。
3) 正弦编码 $\mathrm{PE}_{\sin} \in \mathbb{R}^{C \mathcal{I} \times d}$（Vaswani等人，2017）能够捕捉视图间及关节间的关系，从而支持基于注意力的融合操作。
最终的特征向量如下：
$$ \mathbf{F}=\mathrm{c o n c a t}(\mathbf{S},\mathrm{P E}_{\mathrm{j o i n t}},\mathrm{P E}_{\mathrm{c r o p}})+\mathrm{P E}_{\mathrm{s i n}}. $$
其中 $\mathbf{F} \in \mathbb{R}^{C \mathcal{I} \times d}$ 和 $d = 512 + 2 + 10 = 524$。
多视角特征融合：为了捕捉C个相机视角下非局部关节之间的依赖关系，我们将独立采样得到的特征 $\mathbf{F}$ 输入注意力模块（图3c）；随后，为了实现多视角特征的融合，我们以第一个相机视角的特征 $\mathbf{F}_1 \in \mathbb{R}^{j \times d}$ 作为查询向量，以其余相机视角的特征 $\mathbf{F}_{C-1} \in \mathbb{R}^{((C-1) \times \mathcal{I}) \times d}$ 作为键和值（源向量），采用多头交叉注意力机制进行处理。交叉注意力的公式如下：
$$ \mathbf{F}^{*}=softmax\left(\frac{\mathbf{F}_{1}\mathbf{F}_{C-1}^{T}}{\sqrt{d}}\right)\mathbf{F}_{C-1} $$
交叉注意力层输出 $\mathbf{F}^* \in \mathbb{R}^{j \times d}$，其中 $j = 21$ 和 $d = 524$，这些输出将不同相机视角下的特征聚合到目标相机特征空间中。最后，再次对 $\mathbf{F}^*$ 应用自注意力机制，以进一步细化关节间的内部关系。
---
Table 1: Quantitative results (mm) on the test sets of DexYCB-MV, HO3D-MV, and MVHand. ${}^{\text{®}}$ denotes the methods that require camera parameters. The best and second-best results are highlighted in bold and underlined respectively.
| # | Methods | MPJPE $_{rel}$ $\downarrow$ | PA J $\downarrow$ | AUC $J@20$ $\uparrow$ | MPVPE $_{rel}$ $\downarrow$ | PA V $\downarrow$ | AUC $V@20$ $\uparrow$ |
| DexYCB-MV | 1 | MvP | 9.47 | 4.26 | 0.69 | 12.18 | 8.14 | 0.53 |
| 2 | PE-Mesh-TR | 8.87 | 4.76 | 0.64 | 8.67 | 4.70 | 0.64 |
| 3 | FTL-Mesh-TR | 9.81 | 5.51 | 0.59 | 9.80 | 5.75 | 0.59 |
| 4 | POEM | 7.30 | 3.93 | 0.68 | 7.21 | 4.00 | 0.70 |
| 5 | Multi-view Fit. | 8.77 | 5.19 | 0.65 | 8.71 | 5.29 | 0.65 |
| 6 | HandMvNet (ours) | 6.73 | 4.08 | 0.67 | 7.19 | 4.52 | 0.65 |
| 7 | HandMvNet-HR (ours) | 6.89 | 4.08 | 0.67 | 7.30 | 4.53 | 0.65 |
| 8 | HandMvNet w/o cam. (ours) | 7.03 | 4.13 | 0.66 | 7.38 | 4.56 | 0.64 |
| 9 | HandMvNet-HR w/o cam. (ours) | 7.28 | 4.20 | 0.65 | 7.62 | 4.69 | 0.63 |
| HO3D-MV | 10 | MvP | 24.90 | 10.44 | 0.60 | 27.08 | 10.04 | 0.59 |
| 11 | PE-Mesh-TR | 30.23 | 11.67 | 0.54 | 29.19 | 11.31 | 0.55 |
| 12 | FTL-Mesh-TR | 34.74 | 10.72 | 0.52 | 33.53 | 10.56 | 0.53 |
| 13 | POEM | 21.94 | 9.60 | 0.63 | 21.45 | 9.97 | 0.66 |
| 14 | HandMvNet (ours) | 21.43 | 10.89 | 0.59 | 20.17 | 10.16 | 0.61 |
| 15 | HandMvNet-HR (ours) | 20.73 | 11.01 | 0.61 | 19.82 | 10.73 | 0.62 |
| 16 | HandMvNet w/o cam. (ours) | 21.55 | 10.15 | 0.58 | 20.10 | 9.39 | 0.61 |
| 17 | HandMvNet-HR w/o cam. (ours) | 20.40 | 11.98 | 0.61 | 19.33 | 11.24 | 0.63 |
| MVHand | 18 | MediaPipe-DLT | 17.24 | 9.97 | 0.28 | 18.42 | 7.74 | 0.21 |
| 19 | HandMvNet (ours) | 2.07 | 1.30 | 0.90 | 7.57 | 4.14 | 0.62 |
| 20 | HandMvNet-HR (ours) | 1.86 | 1.21 | 0.91 | 7.59 | 4.12 | 0.62 |
| 21 | HandMvNet w/o cam. (ours) | 2.05 | 1.28 | 0.90 | 7.62 | 4.11 | 0.62 |
| 22 | HandMvNet-HR w/o cam. (ours) | 1.77 | 1.14 | 0.91 | 7.46 | 4.15 | 0.63 |
#### 3.1.3 融合后处理
关节与网格解码器：我们使用三层图卷积网络（GCN）从融合特征 $\mathbf{F}^* \in \mathbb{R}^{\mathcal{I} \times d}$ 中解码出3D关节坐标，将 $\mathcal{I}$ 个关节视为具有d维特征的图节点，从而估算出最终的 $\mathbf{J}^{3D} \in \mathbb{R}^{\mathcal{I} \times 3}$。随后应用逆运动学（IK）来计算关节旋转角度 $\theta_{f3D} \in \mathbb{R}^{(\mathcal{I}-5) \times 3}$，进而形成手部骨骼。该骨骼通过线性混合蒙皮技术对手部模板网格进行变形，最终得到如图3d所示的3D顶点 $\mathbf{V}^{3D} \in \mathbb{R}^{\mathcal{V} \times 3}$。
#### 3.2 训练过程
对于预测的2D热图（$L_H$），我们采用均方误差损失；对于2D和3D关节坐标（$L_{2D}$、$L_{3D}$），则采用L1损失。此外，如果已知相机参数，我们会利用投影函数 $\Pi_c(\cdot): \mathbb{R}^3 \to \mathbb{R}^2$ 将预测的3D关节投影到2D相机视角下，并最小化这些投影结果与真实2D关节坐标（$L_{G2D}$）以及预测出的2D关节坐标（$L_{P2D}$）之间的L1损失。总损失定义如下：
$$ \begin{aligned}L=\lambda_{\mathrm{H}}L_{\mathrm{H}}+\lambda_{2\mathrm{D}}L_{2\mathrm{D}}+\lambda_{3\mathrm{D}}L_{3\mathrm{D}}\\+\lambda_{\mathrm{G}2\mathrm{D}}L_{\mathrm{G}2\mathrm{D}}+\lambda_{\mathrm{P}2\mathrm{D}}L_{\mathrm{P}2\mathrm{D}}\end{aligned} $$
其中 $\lambda$ 的取值分别设为10、1、1、1和0.5，用于平衡各损失的权重比例。
### 4 实验与结果
在本节中，我们通过实验验证所提出架构的有效性，同时给出具体的实现细节。我们使用Pytorch（Paszke等人，2019年）来实现所有网络模型。优化器采用AdamW（Loshchilov，2017年），权重衰减系数设为0.05，初始学习率设定为0.0001。模型在两个RTXA6000 GPU上训练，批量大小为32。裁剪后缩放至 $256 \times 256$ 大小的手部图像作为输入数据。我们还评估了模型的一个变体，命名为HandMvNet-HR，该变体以HRNet-w40作为骨干网络（Sun等人，2019年）。
## 4.1 数据集
DexYCB（Chao等人，2021年）是一个多视角RGB-D数据集，用于采集手与物体交互的数据，包含10名受试者，每名受试者对应8个相机视角。我们遵循官方提供的“S0”划分方式，排除左手样本，最终得到25,387个训练样本、1,412个验证样本和4,951个测试多视角样本，这一划分方式与Yang等人（2023年）的研究一致。我们将这种划分称为DexYCB-MV。
HO3D（v3）（Hampali等人，2020年）包含了最多来自5个相机的手与物体交互图像。我们通过选取7组包含所有5个相机完整多视角观测数据的序列来构建HO3D-MV。
---
(a) Different positional encodings.
Table 2: Ablation Studies.
(b) Effect of fusion layers
| Pos. Encoding | $MPJPE_{rel}\downarrow$ | $PA_J\downarrow$ | $AUC_J\downarrow$ | Fusion Layers | $MPJPE_{rel}\downarrow$ | $PA_J\downarrow$ | $AUC_J\uparrow$ | Camera views | $MPJPE_{rel}\downarrow$ | $PA_J\downarrow$ | $AUC_J\uparrow$ |
| sin | 7.69 | 4.40 | 0.63 | 3 | 6.90 | 4.16 | 0.66 | 8 | 6.73 | 4.08 | 0.67 |
| sin + joint | 6.96 | 4.14 | 0.66 | 5 | 6.73 | 4.08 | 0.67 | 4 | 7.47 | 4.38 | 0.64 |
| sin + joint + crop | 6.73 | 4.08 | 0.67 | 7 | 6.88 | 4.14 | 0.67 | 2 | 8.33 | 4.83 | 0.60 |
(c) Different number of camera views
Figure 4: Qualitative results on the test set of DexYCB-MV dataset.
训练集采用‘ABF1’、‘BB1’、‘GSF1’、‘MDF1’和‘SiBF1’这五个序列，而‘GPMF1’和‘SB1’则留作测试集。最终得到9,087个训练多视角样本和2,706个测试多视角样本。
MVHand（Yu等人，2021年）是一个多视角RGB-D手部姿态数据集，包含4名受试者以及每名受试者的4个相机视角。我们将21,200帧多视角图像划分为15,417个训练样本、1,927个验证样本和3,856个测试多视角样本。
### 4.2 评估指标
我们采用以下标准的手部姿态估计指标来评估所提方法的性能。
1) $MPJPE_{rel}/MPVPE_{rel}$（平均关节/顶点位置误差）是指在对齐根关节（腕关节）后，预测关节/顶点与真实关节/顶点之间的平均欧几里得距离（单位：毫米）。
2) PA-MPJPE/PA-MPVPE（经过普氏分析的关节/顶点误差）是指在应用普氏分析进行尺度、中心和旋转对齐后计算得到的MPJPE/MPVPE值。在实验中，我们将这些指标分别记为PA_J和PA_V。
3) $AUC_{J}/AUC_{V}$（关节/顶点误差曲线下面积）是指在一定阈值范围内，正确关键点百分比（PCK）曲线下的面积。
### 4.3 与现有方法的对比
我们将所提出的3D手部重建方法与最先进的（SOTA）多视角方法进行对比，包括POEM（Yang等人，2023年）和MvP（Zhang等人，2021a年）。尽管MvP主要是为多人体姿态估计设计的，但我们重点关注其在单手重建方面的表现。由于多视角手部姿态估计方法较为有限，我们还评估了将单视角手部重建与先进的多视角融合技术相结合的模拟方法。关于PEMesh-TR（Liu等人，2022年；Lin等人，2021年）、FTL-Mesh-TR（Remelli等人，2020年）以及Multi-view Fitting（Hampali等人，2020年）等模拟方法的详细描述，可参见Yang等人2023年发表的论文的第4.2节。对于缺乏成熟多视角基准测试的MVHand数据集，我们引入了基线方法“Mediapipe-DLT”：该方法利用Mediapipe（Zhang等人，2020年）估计2D关节点，通过直接线性变换（DLT）（Hartley和Zisserman，2003年）进行三角测量，再通过线性混合蒙皮技术获取3D顶点。
表1显示，在所有数据集上，我们的方法在MPJPE $_{rel}$和MPVPE $_{rel}$指标上的表现始终优于SOTA方法，在其他指标上也取得了具有竞争力的结果。尤其是我们的无相机依赖变体“HandMvNet w/o cam”和“HandMvNet-HR w/o cam”，在大多数情况下也表现出更优的性能。由于我们的方法需要大量数据来隐式学习3D几何信息，因此在HO3D-MV等较小数据集上的性能会有所下降，如表1所示。图1表明，HandMvNet在精度（更低的MPJPE $_{rel}$）和推理速度（更高的FPS）方面均优于其他方法。我们在图4、图5和图6中分别展示了DexYCB-MV、HO3D-MV和MVHand测试集上的定性结果。
---
Figure 5: Qualitative results on the test set of HO3D-MV dataset.
Figure 6: Qualitative results on the test set of MVHand dataset.
### 4.4 消融实验
不同骨干网络。我们在表1的第6-7行和第14-15行对比了以ResNet50为骨干的HandMvNet和以HRNet-w40为骨干的HandMvNet-HR的性能结果。
相机参数的使用。在我们的方法中，相机参数用于添加PE $_{crop}$位置编码以及损失项$L_{G2D}$和$L_{P2D}$。为了评估去除相机依赖性的影响，我们排除了这些组件，得到了变体“HandMvNet w/o cam.”和“HandMvNetHR w/o cam.”。表1的第6-9行、第14-17行以及第19-22行对比了包含和不包含相机参数的两种版本的性能。
位置编码的影响。在表2a中，我们研究了不同位置编码对性能的影响。使用正弦位置编码（$PE_{sin}$）、逐关节编码（$PE_{joint}$）以及裁剪编码（$PE_{crop}$）的组合能够获得最佳性能。
融合层数量。表2b展示了不同融合层数量所产生的影响。我们发现，将层数从3增加到5能够提升性能，但继续增加层数并不会进一步改善性能，这表明5层是最优选择。
不同的摄像头视角数量。表2c显示，随着摄像头视角数量的增加，模型性能会逐渐提升。我们还在图7中比较了不同摄像头视角下本方法与其它方法的FPS表现。
Figure 7: Inference Speed (FPS) comparison across methods with different camera views. HandMvNet achieves the highest FPS across all configurations.
---
### 5 结论
我们提出了HandMvNet，这是首批能够实时从多视角摄像头图像中估计手部运动与形状的算法之一。我们的方法采用了多视角注意力融合机制，能够有效整合来自多个视角的特征，从而输出一致且精确的绝对手部姿态与形状，避免了单目方法中常见的尺度-深度歧义问题。与以往的多视角方法不同，HandMvNet无需依赖摄像头参数即可学习3D几何信息。我们通过大量的消融实验验证了该架构的有效性，并将其性能与最先进的方法进行了比较。在公开数据集上的实验表明，我们的方法在精度和推理速度方面均优于现有方法。
## 致谢
本研究部分得到了欧盟项目FLUENTLY（授予编号101058680）和Sharespace（授予编号10192889）的资助。
## 参考文献
Bartol, K., Bojanić, D., Petković, T., 和 Pribanić, T. (2022). 泛化性人体姿态三角测量。载于IEEE/CVF计算机视觉与模式识别会议论文集，第11028–11037页。
Boukhayma, A., Bem, R. d., 和 Torr, P. H. (2019). 基于野外图像的3D手部形状与姿态估计。载于IEEE/CVF计算机视觉与模式识别会议论文集，第10843–10852页。
Chao, Y.-W., Yang, W., Xiang, Y., Molchanov, P., Handa, A., Tremblay, J., Narang, Y. S., Van Wyk, K., Iqbal, U., Birchfield, S.等 (2021). Dexycb：用于捕捉物体抓取动作的基准测试。载于IEEE/CVF计算机视觉与模式识别会议论文集，第9044–9053页。
Chen, P., Chen, Y., Yang, D., Wu, F., Li, Q., Xia, Q., 和 Tan, Y. (2021a). I2uv-handnet：用于精确且高保真3D手部网格建模的图像到UV预测网络。载于IEEE/CVF国际计算机视觉会议论文集，第12929–12938页。
Chen, X., Liu, Y., Ma, C., Chang, J., Wang, H., Chen, T., Guo, X., Wan, P., 和 Zheng, W. (2021b). 通过语义聚合与自适应2D-1D配准实现相机空间手部网格恢复。载于IEEE/CVF计算机视觉与模式识别会议论文集，第13274–13283页。
Chen, Z., Zhao, X., 和 Wan, X. (2022). 结构三角测量：一种约束条件下3D人体姿态估计的闭式解。载于欧洲计算机视觉会议论文集，第695–711页。Springer出版。
Deng, J., Dong, W., Socher, R., Li, L.-J., Li, K., 和 Fei-Fei, L. (2009). ImageNet：一个大规模分层图像数据库。载于CVPR09会议。
葛磊、梁浩、袁杰和Thalmann, D.（2016）。单深度图像中的鲁棒3D手部姿态估计：从单视图CNN到多视图CNN。载于《IEEE计算机视觉与模式识别会议论文集》，第3593–3601页。
葛磊、任哲、李阳、薛志、王宇、蔡杰和袁杰（2019）。基于单RGB图像的3D手部形状与姿态估计。载于《IEEE/CVF计算机视觉与模式识别会议论文集》，第10833–10842页。
关浩、张建生、陈亮、Feris, R. S.和Turk, M. A.（2006）。基于多视图外观的3D手部姿态估计。载于2006年计算机视觉与模式识别研讨会（CVPRW'06），第154–154页。
Hampali, S.、Rad, M.、Oberweger, M.和Lepetit, V.（2020）。Honnotate：一种用于手部与物体姿态的3D标注方法。载于CVPR会议。
韩硕、吴沛辰、张宇、刘波、张磊、王哲、司伟、张鹏、蔡勇、Hodan, T.等（2022）。Umetrack：面向VR的统一多视图端到端手部追踪技术。载于SIGGRAPH Asia 2022会议论文集，第1–9页。
Hartley, R.和Zisserman, A.（2003）。《计算机视觉中的多视图几何》。剑桥大学出版社。
何凯明、张翔、任少卿和孙剑（2016）。用于图像识别的深度残差学习。载于《IEEE计算机视觉与模式识别会议论文集》，第770–778页。
何洋、闫睿、Fragkiadaki, K.和Yu, S.-I.（2020）。极线变换器。载于《IEEE/CVF计算机视觉与模式识别会议论文集》，第7779–7788页。
Iskakov, K.、Burkov, E.、Lempitsky, V.和Malkov, Y.（2019）。可学习的人体姿态三角测量技术。载于《IEEE/CVF国际计算机视觉会议论文集》，第7718–7727页。
林凯、王磊和刘哲（2021）。基于Transformer的端到端人体姿态与网格重建技术。载于《IEEE/CVF计算机视觉与模式识别会议论文集》，第1954–1963页。
刘洋、王涛、张晓和孙剑（2022）。PETR：用于多视图3D物体检测的位置嵌入变换技术。载于欧洲计算机视觉会议论文集，第531–548页。Springer出版。
---
Loshchilov, I.（2017）。解耦权重衰减正则化技术。arXiv预印本arXiv:1711.05101。
马浩、王哲、陈阳、孔达、陈磊、刘鑫、闫欣、唐浩和谢晓（2022）。PPT：用于单目及多视图人体姿态估计的Token剪枝姿态变换器。载于欧洲计算机视觉会议论文集，第424–442页。Springer出版。
Malik, J.、Abdelaziz, I.、Elhayek, A.、Shimada, S.、Ali, S. A.、Golyanik, V.、Theobalt, C.和Stricker, D.（2020）。Handvoxnet：基于深度体素网络的单深度图3D手部形状与姿态估计技术。载于《IEEE/CVF计算机视觉与模式识别会议论文集》，第7113–7122页。
Malik, J.、Shimada, S.、Elhayek, A.、Ali, S. A.、Theobalt, C.、Golyanik, V.和Stricker, D.（2021）。Handvoxnet++：基于体素神经网络的3D手部形状与姿态估计技术。《IEEE模式分析与机器智能交易》第44卷第12期，第8962–8974页。
Moon, G.和Lee, K. M.（2020）。I2L-MeshNet：用于从单RGB图像精确估计3D人体姿态与网格的图像到LXL预测网络。载于《计算机视觉–ECCV 2020：第16届欧洲会议论文集，第七部分》第16卷，第752–768页。Springer出版。
Park, J.、Oh, Y.、Moon, G.、Choi, H.和Lee, K. M.（2022）。Handoccnet：鲁棒于遮挡的3D手部网格估计网络。载于《IEEE/CVF计算机视觉与模式识别会议论文集》，第1496–1505页。
Paszke, A.、Gross, S.、Massa, F.、Lerer, A.、Bradbury, J.、Chanan, G.、Killeen, T.、Lin, Z.、Gimelshein, N.、Antiga, L.等（2019）。PyTorch：一种命令式风格的高性能深度学习库。《神经信息处理系统进展》，第32卷。
Prakash, A.、Gupta, A.和Gupta, S.（2023）。缓解图像裁剪中由透视畸变引起的形状歧义。arXiv预印本arXiv:2312.06594。
Remelli, E.、Han, S.、Honari, S.、Fua, P.和Wang, R.（2020）。通过相机解耦表示实现轻量级多视图3D姿态估计。载于《IEEE/CVF计算机视觉与模式识别会议论文集》，第6040–6049页。
Romero, J.、Tzionas, D.和Black, M. J.（2022）。具身化手部：手部与身体的联合建模与捕捉。arXiv预印本arXiv:2201.02610。
Shuai, H.、Wu, L.和Liu, Q.（2022）。用于3D人体姿态估计的自适应多视图与时序融合Transformer。《IEEE模式分析与机器智能交易》，第45卷第4期：4122–4135页。
Sun, K.、Xiao, B.、Liu, D.和Wang, J.（2019）。用于人体姿态估计的深度高分辨率表征学习。载于CVPR。
Sun, X.、Xiao, B.、Wei, F.、Liang, S.和Wei, Y.（2018）。整体人体姿态回归。载于《欧洲计算机视觉会议（ECCV）论文集》，第529–545页。
Tu, H.、Wang, C.和Zeng, W.（2020）。Voxelpose：面向野外环境的多摄像头3D人体姿态估计。载于《计算机视觉–ECCV 2020：第16届欧洲会议论文集，英国格拉斯哥，2020年8月23–28日，第一部分》第16卷，第197–212页。Springer出版。
Vaswani, A.、Shazeer, N.、Parmar, N.、Uszkoreit, J.、Jones, L.、Gomez, A. N.、Kaiser, L.和Polosukhin, I.（2017）。注意力机制就是一切。《神经信息处理系统进展》，第30卷。
Yang, L.、Li, K.、Zhan, X.、Wu, F.、Xu, A.、Liu, L.和Lu, C.（2022）。Oakink：用于理解手物交互的大规模知识库。载于《IEEE/CVF计算机视觉与模式识别会议论文集》，第20953–20962页。
Yang, L.、Xu, J.、Zhong, L.、Zhan, X.、Wang, Z.、Wu, K.和Lu, C.（2023）。Poem：在点嵌入多视图立体视觉中重建手部。载于《IEEE/CVF计算机视觉与模式识别会议论文集》，第21108–21117页。
Yu, Z.、Yang, L.、Chen, S.和Yao, A.（2021）。用于3D手部姿态估计的局部与全局点云重建。arXiv预印本arXiv:2112.06389。
Zhang, F.、Bazarevsky, V.、Vakunov, A.、Tkachenka, A.、Sung, G.、Chang, C.-L.和Grundmann, M.（2020）。MediaPipe Hands：设备端实时手部追踪。arXiv预印本arXiv:2006.10214。
Zhang, J.、Cai, Y.、Yan, S.、Feng, J.等（2021a）。直接多视图多人3D姿态估计。《神经信息处理系统进展》，第34卷：13153–13164页。
Zhang, Z.、Wang, C.、Qiu, W.、Qin, W.和Zeng, W.（2021b）。Adafuse：用于野外精确人体姿态估计的自适应多视图融合方法。《国际计算机视觉杂志》，第129卷：703–718页。
赵伟、王伟和田洋（2022）。Graformer：面向图结构的3D姿态估计Transformer。载于IEEE/CVF计算机视觉与模式识别会议论文集，第20438–20447页。
郑晓、温超、薛哲、任鹏和王杰（2023）。Hamuco：基于多视角协同自监督学习的手部姿态估计方法。载于IEEE/CVF国际计算机视觉会议论文集，第20763–20773页。
周阳、Habermann M.、徐伟、Habibie I.、Theobalt C.和徐峰（2020）。利用多模态数据实现单目实时手部形状与动作捕捉。载于IEEE/CVF计算机视觉与模式识别会议论文集，第5346–5355页。