# 视觉-声学手部姿态与接触估计
毛跃民 $^{1*}$ 尤旭相 $^{1*}$ 姚云超 $^{1}$ Shahram Najam Syed $^{1}$
卢卡·邦迪 $^{2}$、乔纳森·弗朗西斯 $^{1,2}$、让·吴 $^{1}$、杰弗里·伊克诺夫斯基 $^{1}$
$^{1}$卡内基梅隆大学机器人研究所，美国匹兹堡
$^{2}$博世人工智能中心，美国匹兹堡
## 摘要
准确估计手部姿态和手-物体接触事件对于机器人数据采集、沉浸式虚拟环境和生物力学分析至关重要，但由于视觉遮挡、细微的接触线索、仅依赖视觉传感的局限性以及缺乏便捷且灵活的可穿戴触觉传感设备，这一任务仍颇具挑战性。因此，我们提出了VibeMesh——一种新型可穿戴系统，它将视觉传感与主动声学传感相结合，以实现高密度的逐顶点手部接触与姿态估计。VibeMesh集成了骨传导扬声器和稀疏压电麦克风，这些设备分布在人手表面，用于发射结构化的声学信号并捕捉其传播过程，从而推断接触引起的变化。为了解析这些跨模态信号，我们提出了一种基于图的注意力网络，该网络能够处理同步的音频频谱和由RGB-D数据生成的手部网格，进而以高空间分辨率预测接触情况。我们的贡献包括：(i) 一个轻量、非侵入式的视觉-声学传感平台；(ii) 用于联合估计姿态与接触的跨模态图网络；(iii) 涵盖多种操作场景的同步RGB-D、声学及真实接触标注数据集；以及(iv) 实验结果表明，在准确性和鲁棒性方面，VibeMesh均优于仅依赖视觉的基准方法，尤其是在存在遮挡或静态接触的场景中。
## 1 引言
准确估计人手姿态与接触对于机器人遥操作 [^30] [^59] [^9] [^55]、虚拟现实 [^52] [^1] 以及生物力学分析 [^10] [^35] [^31] 而言至关重要。在所有这些场景中，知晓手部接触环境的时间与位置，连同其姿态信息，能够帮助我们判断任务阶段、区分探索与操作行为，并推断受力动态。遗憾的是，现实世界中的接触传感十分困难：遮挡、有限的传感器视角以及细微的接触事件常常会让纯视觉方法无所适从。
基于视觉的方法通常通过结合RGB或深度观测数据与物体几何形状及标准手部姿态的强先验来间接估计接触情况 [^14] [^4] [^54] [^41]。基于模型的拟合方法虽能提供帮助 [^47] [^48] [^20]，但在光照条件不佳时仍会失效，且会因遮挡而产生歧义。直接的触觉解决方案，例如电容式和压电式手套 [^24] [^18] 或全身式传感服 [^15]，虽然能提供更好的信号保真度，但代价是体积庞大、成本高昂且实用性有限。与此同时，可穿戴声学技术 [^57] 和跨模态学习 [^43] 领域的诸多进展尚未被应用于高密度的手-物体接触估计任务中。
我们提出采用一种视听传感方法来填补这一空白，该方法能够同时估计手部姿态和接触情况。一个轻巧的骨传导扬声器被安装在手腕上，用于发射信号。
---
Figure 1: Overview of VibeMesh. Our visuo-acoustic contact estimation architecture predicts per-vertex contact by integrating audio embeddings with hand-mesh features. During training, it leverages audio with hand meshes and contact annotations jointly reconstructed from two synchronized RGB-D camera streams; at inference, it operates on audio and a hand mesh reconstructed from a single, partially occluded, RGB view, demonstrating robustness under visual ambiguity.
该信号包含多种声频（这一过程被称为“宽带探测”），一旦手部形态发生变化或接触到物体，其传播特性就会随之改变。手指上的压电式接触麦克风阵列会记录下这些变化，从而提供丰富的、自生成的线索；即便手部处于静止状态或被遮挡，这些线索仍能传递有效信息。为了解读这些信息，我们提出了VibeMesh：这是一种跨模态图注意力网络，它将频谱音频特征与基于网格的MANO [^33] 手部表示相融合，以便根据同步的音频和RGB输入来预测每个顶点的接触标签（见图1）。
本文的贡献包括：(i) 一种用于接触感知型手部追踪的可穿戴视听平台；(ii) VibeMesh，一种融合声学和视觉线索以实现密集接触预测的跨模态图注意力架构；(iii) 涵盖多种抓取方式、包含时间对齐的RGB-D、音频及真实接触标注的数据集；(iv) 在用户和物体层面进行的全面评估结果表明，与现有最先进方法相比，该方法在遮挡情况、不同物体属性以及静态接触场景下具有更高的准确性和鲁棒性。
## 2 相关工作
### 2.1 视觉手部姿态与接触估计
由于其在VR/AR/XR [^52] [^1] [^25] [^5]、机器人技术 [^30] [^59] [^9] [^55] [^27] 以及运动学 [^2] [^46] 领域的应用价值，研究人员对基于视觉的手部姿态与接触估计展开了广泛研究。可穿戴设备和日常环境中摄像头的普及使得视觉成为一种便捷且易获取的传感方式 [^58]。
传统方法主要依赖模板匹配和轮廓提取技术 [^12] [^34]。近期的方法则利用大规模合成 [^22] [^7] 或真实世界数据集 [^53] [^39] [^26] [^8] [^16] [^61]，通过表现力强的模型从单目RGB输入中回归2D关键点或完整3D网格 [^60] [^14]。基于Transformer的架构 [^19] [^17] [^51] [^29] 以及融入物理原理的处理流程 [^47] [^45] 进一步提升了姿态估计的准确性和鲁棒性。
然而，仅依赖视觉的方法仍受限于自身遮挡和固有的视觉歧义，尤其是在手与物体交互时 [^13]。为克服这些局限，VibeMesh引入了音频作为额外的传感方式。通过利用接触产生的声音所具备的丰富时间与频谱结构——这些结构反映了手-物系统整体声学特性的变化，VibeMesh能够区分视觉上相似的手部姿态，并比纯视觉方法更精确地定位接触点。
---
(a) Data collection workspace.
(b) Wearable microphone rings.
(c) Data collection objects.
Figure 2: VibeMesh data collection setup. (a) Our multi-view capture station with two calibrated ZED Mini RGB-D cameras positioned at complementary angles to minimize occlusion during hand-object interaction. (b) Custom-designed piezoelectric microphone rings worn on each finger, with the bone-conduction speaker mounted on the wrist. Each ring contains a 10 mm piezoelectric disc sensor connected to a Maono USB sound card. (c) The diverse set of 19 objects used in our experiments includes items from YCB and HOPE datasets with varied geometries, materials, and affordances to evaluate across different manipulation scenarios.
### 2.2 多模态人体姿态追踪
为了克服仅依赖视觉的系统所固有的局限性，近期的研究开始尝试引入其他传感方式，例如触觉 [^28] [^42] [^11]、肌电信号 [^37] [^56] [^36] [^23] 以及音频 [^21] [^50] [^49] [^38]。这些传感方式能够提供互补的信号，用于捕捉肌肉活动、接触力以及与物理交互相关的声学瞬态信息，从而在存在遮挡或视觉模糊的情况下也能实现精准的姿态与接触点估计。
触觉与可拉伸传感器能够直接测量接触情况与形变，但往往需要价格昂贵的贴合式手套或嵌入式皮肤，这类设备可能会限制用户的自然动作 [^3]。基于肌电信号的方法通过肌肉激活情况来推断姿态，但对电极放置位置较为敏感，且容易因用户疲劳而出现信号漂移或退化现象 [^36] [^40]。此外，嵌入触觉传感器的手套通常空间分辨率较低，往往只能将手部划分为几个接触区域 [^37]。相比之下，音频传感提供了一种间接但非侵入式的替代方案 [^57]：声音中蕴含着丰富的时间与频谱线索，能够反映接触时机、材料属性以及动态交互信息——即便视觉信号被遮挡时也是如此。通过利用同步的视听信号，VibeMesh能够分辨出被遮挡的手部姿态并精准定位接触事件，同时最大限度地减少对可穿戴或侵入式设备的依赖。
## 3 方法
VibeMesh包含三个阶段：数据采集、基于视觉的接触点真值标注以及模型训练。在数据采集阶段，我们通过将两台RGB-D相机与一组可穿戴声学传感器同步，来获取多模态记录数据。随后，我们合并视频流以生成真值的3D手部姿态与接触点标注。在模型训练环节，我们训练一个网络，该网络会将图注意力编码器提取的网格特征与CNN提取的音频嵌入进行融合，并通过二元交叉熵损失函数针对真值接触标签优化接触点预测效果。
### 3.1 视听手-物交互数据采集
我们开发了一套将可穿戴声学传感器与RGB-D相机集成的系统，用于采集手-物交互的多模态数据。我们从多名用户那里收集了涵盖多种抓取场景的数据集。
可穿戴麦克风与扬声器：为了实现主动声学传感，我们使用Adafruit骨传导扬声器来产生白噪声作为信号源，搭配五个接触式麦克风
---
Figure 3: VibeMesh ground-truth hand pose and contact annotation pipeline. Our multi-view dataset collection approach integrates data from two RGB-D cameras to generate accurate hand meshes and contact annotations. Starting with RGB input from both cameras, we use SAM2 [^32] for hand segmentation to extract point clouds (PC), while HaMeR [^29] generates initial MANO-based hand meshes. These components are fused through calibrated camera extrinsics, with ICP registration aligning the meshes to the combined point cloud. The blended mesh is validated against a chamfer distance threshold ( $d_{CD}$), discarding frames with poor alignment. For valid frames, we track object pose using ArUco markers with ICP refinement, then we compute proximity between hand vertices and the object surface, generating per-vertex binary contact labels with a 5-mm threshold. This pipeline creates high-quality ground-truth data for training our visuo-acoustic model even in challenging contact-rich scenarios.
（10毫米压电圆盘）用于信号采集，采样率达到44.1 kHz。每个接触式麦克风都连接至Maono USB声卡，并安装在为特定用户定制的3D打印PLA环上。数据采集期间，参与者将环形装置戴在手指上，扬声器则用松紧带固定在手腕处（见图2b）。
RGB-D相机：为了获取高质量的手部姿态与接触点真值标签，我们使用了两台ZED Mini立体RGB-D相机，它们被放置在互补的视角位置以减少遮挡（见图2a）。两台相机均以1080p的分辨率和30帧/秒的帧率同步记录数据，并利用Zed AI视差估计算法来提升深度图的分辨率与精度。
数据收集流程：在获得机构审查委员会（IRB）批准后，我们招募了五名右利手参与者（3名男性和2名女性），他们的手部和手指尺寸各异。我们选取了19个具有高质量网格模型、几何形状、质量和材质各不相同的物体（见图2c）：其中14个来自YCB数据集[^6]，3个来自HOPE数据集[^44]，还有2个是与YCB数据集中的物体对应的PLA打印复制品。每位参与者针对每个物体完成五次、每次60秒的测试环节；在此期间，他们反复抓取并释放物体，并被要求尝试不同的抓取姿势，以确保手部姿势和接触条件的多样性。
### 3.2 基于视觉的手部姿态与接触点估计
我们采用基于视觉的方法来获取真实的接触点标签（见图3），通过融合两个摄像头视角下的手部重建结果来解决遮挡问题。在物体跟踪方面，我们使用ArUco标记物，并结合迭代最近点（ICP）算法来优化，以在精度和效率之间取得平衡。
多视角手部姿态融合：为了重建手部姿态，我们整合了两个互补视角下的RGB-D数据以及学习得到的网格先验信息。在每段60秒的记录中，我们使用SAM2[^32]为每个摄像头提取三个关键帧，再通过这些掩码随时间推移提取手部点云。与此同时，HaMeR[^29]利用MANO[^33]模型生成包含778个顶点的、符合解剖学结构的手部网格，该模型能确保拓扑一致性并融入学习得到运动学先验。首先，我们利用校准后的摄像头外参将两个手部点云融合，再通过ICP算法将每个网格与融合后的点云对齐。接着，我们以局部几何一致性为指导，采用“尽可能刚性”的变形方法（ARAP）将两个经ICP对齐的网格合并。如果混合后的网格无法与融合点云对齐（以倒角距离阈值衡量），我们就丢弃对应的帧以提高标签的可靠性。为确保跟踪过程稳定可靠，我们还在用户手腕上安装ArUco标记物，并针对该标记物的姿态进行额外的ICP对齐，从而将手部网格约束在合理的全局位置。这种联合融合方式能够生成精确且时间连贯的手部三维重建结果。
---
使用帧来提高标签的可靠性。为了确保跟踪的稳健性与稳定性，我们还在用户的手腕上安装了一个ArUco标记，并针对该标记的姿态执行额外的ICP对齐操作，从而将手部网格约束在合理的全局位置。这种融合方式能够生成准确且时间连贯的手部3D重建结果。
物体跟踪：我们在每个物体上粘贴ArUco标记物，并在每一帧中检测其相对于摄像头的六自由度姿态。借助这一初始估计值，我们相应地调整物体网格的位置。为提高精度，我们还会通过网格与深度数据之间的ICP配准来进一步优化姿态。经过这一步骤，就能逐帧精准跟踪物体的位置和朝向。
接触点估计：当手部网格和物体网格被注册到同一坐标系后，我们会根据临近程度为手部网格的每个顶点赋予二元接触标签。如果某个顶点在物体上的最近点距离小于5毫米，则该顶点被标记为处于接触状态。这种方法能够生成密集且逐帧标注的接触点信息，既符合几何规律，又能有效应对遮挡问题。
### 3.3 VibeMesh模型
VibeMesh架构（见图1）由三个主要组件构成：音频编码器、网格编码器，以及用于接触点预测的多模态融合模块。
音频编码器：我们对连续的多通道声学信号进行处理，通过以下步骤来分离并增强与接触相关的特征：(i) 参考信号减除——利用每次录音开始时手部未接触物体阶段的前5毫秒所采集的基准声学轮廓，从后续帧中减除该基准信号，从而分离出由接触引起的变化；(ii) 时间对齐——将波形分割成与视频帧（30帧/秒）对应的35毫秒窗口，并通过滑动窗口机制保持不同模态间的同步；(iii) 频谱图提取——采用短时傅里叶变换（1024点FFT，512点跳跃长度）为五个麦克风通道生成时频表示；(iv) 归一化——先进行频域归一化处理，再对每个通道进行标准化，以确保特征表示的一致性，并消除因制造差异等因素导致的麦克风灵敏度波动。
经过上述预处理后，可得到对齐的频谱图，它们能够捕捉手部接触物体时的特征性频谱变化。为了从这些频谱图中提取具有区分性的特征，我们采用了预训练的VGG骨干网络并进行微调。该网络独立处理每个麦克风通道的信号，随后通过自注意力机制进行通道级特征融合，从而使模型能够根据信号与接触事件的相关性自适应地分配权重。最终的音频嵌入向量$\mathbf{z}_{\text{audio}} \in \mathbb{R}^{256}$编码了由手部姿态配置和物体接触交互产生的复杂声学模式，为视觉模态提供了互补信息。
网格编码器：网格编码器利用分层图神经网络来处理手部几何结构，从而保留网格的拓扑特性。对于包含N=778个顶点的手部网格以及基于网格连通性生成的邻接矩阵，我们应用一系列图卷积操作：
$$ \mathbf{H}^{(1)}=\mathrm{ReLU}(\mathrm{GCN}(\mathbf{X},\mathbf{A})) $$
$$ \mathbf{H}^{(2)}=\mathrm{R e L U}(\mathrm{G C N}(\mathbf{H}^{(1)},\mathbf{A})) $$
$$ \mathbf{H}^{(3)}=\mathbf{G A T}(\mathbf{H}^{(2)},\mathbf{A}), $$
其中$\mathbf{X} \in \mathbb{R}^{N \times 3}$表示顶点坐标，$\mathbf{A}$为邻接矩阵，GCN代表图卷积层，GAT则表示带有4个注意力头的图注意力层。由此得到的节点嵌入$\mathbf{H}^{(3)} \in \mathbb{R}^{N \times 256}$能够捕捉每个顶点的局部几何特征。在我们的记号体系中，$\mathbf{H}^{(l)}$表示图神经网络第l层所有顶点的特征矩阵，而$\mathbf{h}_i^{(l)}$则表示第l层中顶点i的特征向量。我们通过全局注意力池化层来计算全局网格表示：
$$ \mathbf{z}_{\mathrm{m e s h}}=\sum i=1^{N}\alpha_{i}\cdot\mathbf{h}^{(3)}. $$
这种分层方法使模型能够同时捕捉局部的顶点级特征和全局的手部配置信息。这种基于图的方法的一个关键洞见在于：手部的运动学和实际使用方式往往会在接触点之间产生长距离依赖关系——抓取动作通常涉及相对的表面且依赖于特定姿态。VibeMesh架构正是利用了这一特点，在早期层中采用逐渐增大的感受野，随后借助注意力机制来建模那些在解剖学上距离较远但在功能上相关的接触区域。这些信息被整合在一起的同时，相关的接触线索也得以保留。这些信息还会与声学模态互补，以便根据手部的当前姿态来区分不同的接触状态。
---
手部运动学特性以及使用方式往往会在接触点之间产生长程依赖关系：抓取动作通常会涉及相对的表面，且依赖于手部的姿态。VibeMesh架构正是利用了这一特点，在早期层中采用逐渐增大的感受野，随后引入注意力机制来对解剖学上距离较远但功能上相关的接触区域进行建模。这些信息会被整合在一起，同时保留相关的接触线索。此外，声学模态也会为这些数据提供补充，以便根据手部的当前姿态来区分不同的接触状态。
跨模态融合与接触预测：融合模块会将音频和网格表征结合起来，以预测每个顶点的接触概率。首先，我们会将两个模态中的全局特征进行拼接 $\mathbf{z}_{\text{global}} = [\mathbf{z}_{\text{audio}}; \mathbf{z}_{\text{mesh}}]$。
这一组合后的表示会经由多层感知机处理，以提取跨模态特征：
$$ \mathbf{z}_{\mathrm{f u s e d}}=f(\mathbf{z}_{\mathrm{g l o b a l}}) $$
接着，我们通过将局部顶点特征与全局跨模态表示相结合，来计算每个顶点的接触预测结果：
$$ \mathbf{v}_{i}=[\mathbf{h}_{i}^{(3)};\mathbf{z}_{f u s e d}] $$
$$ \alpha_{i}=\sigma(g_{a}(\mathbf{v}_{i})) $$
$$ \hat{y}_{i}=\sigma(g_{p}(\mathbf{v}_{i}\odot\alpha_{i})), $$
其中，$\mathbf{h}_{i}^{(3)}$ 表示顶点i的特征向量，$\alpha_{i}$ 是注意力权重，而 $\hat{y}_{i}$ 则是预测的接触概率。这种注意力机制能够让模型根据几何和声学线索，聚焦于手部最相关的区域。
#### 3.3.1 训练流程
由于接触估计任务中存在显著的类别不平衡现象——接触顶点通常仅占总顶点的5–10%，因此我们采用加权二元交叉熵损失来训练模型：
$$ \mathcal{L}=-\frac{1}{N}\sum_{i=1}^{N}[w_{1}y_{i}\log(\hat{y}_{i})+w_{0}(1-y_{i})\log(1-\hat{y}_{i})], $$
其中，$y_i \in \{0,1\}$ 是顶点i的真实接触标签，$w_1$ 和 $w_0$ 分别是正类（接触）和负类（非接触）的类别权重。这些权重是根据每个训练批次中各类别出现的频率反向计算的：
$$ w_{1}=\frac{N}{2\cdot\sum_{i=1}^{N}y_{i}},\quad w_{0}=\frac{N}{2\cdot\sum_{i=1}^{N}(1-y_{i})}. $$
这种加权方案对假阴性的惩罚力度大于假阳性，从而促使模型能够准确识别那些在训练数据中占比极低的稀疏接触区域。
### 3.4 实现细节
VibeMesh的网格编码器采用分层图神经网络结构，包含两层GCN（通道数分别为64和128），随后是四头图注意力层（通道数为256）。我们使用MANO [^33] 手部网格拓扑来定义消息传递操作所需的边连接关系。训练时，我们采用Adam优化器，初始学习率为0.001，批量大小为32，通过梯度累积实现512的有效批量大小，并采用reduce-on-plateau调度策略，衰减因子为0.5，耐心值为5个epoch。为了缓解过拟合问题，我们在网络中引入了dropout（$p = 0.2–0.3$）。模型在NVIDIA RTX 4090 GPU上训练了20个epoch，每个模型的训练时间约为15小时。
## 4 实验
我们对VibeMesh进行了评估，以检验其在不同场景下进行手-物体接触估计的效果。实验设计旨在验证以下几个关键方面：（1）所提出的视觉-声学方法与仅基于视觉的基线方法相比的准确性
---
Table 1: Performance comparison across different input modalities. We report average F1 Score ( $\uparrow$) and average Chamfer Distance ( $\downarrow$), along with performance on unseen objects and subjects.
| Method | Modality | Avg F1 ( $\uparrow$) | Avg Chamfer ( $\downarrow$) | Unseen Obj F1 ( $\uparrow$) | Unseen Subj F1 ( $\uparrow$) | Unseen Obj Chamfer ( $\downarrow$) | Unseen Subj Chamfer ( $\downarrow$) |
| Hold [^14] (Baseline) | RGB | 0.1171 $\pm$ 0.0974 | 31.33 $\pm$ 27.36 mm | 0.1431 $\pm$ 0.1026 | 0.1325 $\pm$ 0.0889 | 46.55 $\pm$ 13.45 mm | 19.92 $\pm$ 5.489 mm |
| VibeMesh (Proposed) | RGB + Audio | 0.327 $\pm$ 0.122 | 5.487 $\pm$ 1.612 mm | 0.288 $\pm$ 0.111 | 0.302 $\pm$ 0.116 | 6.042 $\pm$ 1.755 mm | 6.828 $\pm$ 1.704 mm |
（2）系统在遮挡和复杂物体几何等挑战性条件下的鲁棒性；（3）模型在未见过物体和用户上的泛化能力。
我们首先介绍了用于测试接触分类准确性及几何精度的评估指标。随后展示了VibeMesh与最先进的仅视觉基线方法的定量对比结果，接着通过消融实验明确了各模态和架构组件所起的作用。最后，我们展示了定性结果，突出了该方法表现优异的特定场景，尤其是在仅靠视觉难以准确确定接触区域的情况。
### 4.1 评估指标
我们采用两个互补的指标来评估接触估计效果：标签准确性和几何精度。这两个指标都能反映VibeMesh与最先进基线方法相比的表现。对于标签准确性，我们采用F1分数来衡量，其定义为：
$$ F_{1}=\frac{2\cdot P\cdot R}{P+R}, $$
其中，P（精确度）表示预测接触点中真正接触点的比例：$P = \frac{|\mathcal{C}_{\text{pred}} \cap \mathcal{C}_{\text{true}}|}{|\mathcal{C}_{\text{pred}}|}$；R（召回率）则衡量真实接触点中被成功预测的比例：$R = \frac{|\mathcal{C}_{\text{pred}} \cap \mathcal{C}_{\text{true}}|}{|\mathcal{C}_{\text{true}}|}$。该指标会对接触点估计中的假阳性和假阴性情况予以同等程度的惩罚，F1分数越高，说明性能越好。
在几何精度方面，我们计算预测接触点集合$(d_{CD})$与真实接触点集合$V_{pred}$之间的倒角距离$V_{true}$：
$$ d_{C D}(\mathcal{V}_{\mathrm{p r e d}},\mathcal{V}_{\mathrm{t r u e}})=\frac{1}{2|\mathcal{V}_{\mathrm{p r e d}}|}\sum_{x\in\mathcal{V}_{\mathrm{p r e d}}}\min_{y\in\mathcal{V}_{\mathrm{t r u e}}}\|x-y\|+\frac{1}{2|\mathcal{V}_{\mathrm{t r u e}}|}\sum_{y\in\mathcal{V}_{\mathrm{t r u e}}}\min_{x\in\mathcal{V}_{\mathrm{p r e d}}}\|x-y\|. $$
该指标会取两组点之间双向最近邻距离的平方平均值；因此，较小的倒角距离意味着预测接触点在$\mathbb{R}^3$中与真实接触点的位置非常接近。F1分数与倒角距离这两项指标共同确保了我们的评估能够同时涵盖接触区域的正确分类以及高空间精度的定位能力。
### 4.2 实验结果
实验结果表明，在各种场景下VibeMesh的性能都明显优于仅依赖视觉或仅依赖音频的方法。表2显示，VibeMesh的平均F1分数达到了0.327，较目前最先进的仅视觉方法Hold [^14]基线（F1分数为0.117）提升了179.4%。在倒角距离指标上，这种显著的性能差距更为明显：VibeMesh的倒角距离为5.487毫米，较仅视觉基线（31.33毫米）降低了82.5%。这一结果印证了视听方法的互补性——每种模态都能提供关于接触条件的独特信息，我们将在后续章节的消融研究中进一步探讨这一点。
在分析未见物体这一具有挑战性的场景下的性能时，VibeMesh展现出了强大的泛化能力，其F1分数达到了0.288，较仅视觉基线（0.143）高出101.4%。这表明我们的跨模态方法能够捕捉到手-物体交互的通用特征，这些特征可有效迁移到几何形状和材质各异的新物体上。
---
输入图像/音频
GTHOI
GT Contact
Figure 4: Qualitative Results. Each column represents a different test condition: unseen object with seen subject, seen object with seen subject, unseen object with unseen subject, and seen object with unseen subject. The rows show: (1) input RGB images to the models with the subjects interacting with objects while wearing the active acoustic sensing platform (2) ground-truth hand-object interaction (GT HOI) visualizations showing 3D hand meshes and object models (3) ground-truth contact labels with contact vertices highlighted in green (4) contact prediction results from the vision-only baseline [^14], showing substantial false negatives (missing contacts) and false positives (incorrect contact regions) in red (5) VibeMesh predictions, demonstrating noticeable improvements in contact localization across all generalization scenarios. We note that VibeMesh largely identifies contact points even in challenging cases with partial occlusion and novel objects/subjects.
同样，在未见物体上的倒角距离（6.042毫米）较仅视觉方法（46.55毫米）改善了87.0%，这说明即便面对此前未见过的几何形状，我们的方法也能精准定位接触点。跨用户评估进一步凸显了VibeMesh在不同手型尺寸和交互方式下的泛化能力，其平均F1分数仍能达到0.302。这一数值较整体平均值仅下降了7.6%，说明所学习的视听特征能够捕捉到超越个体间手部几何结构和操作行为差异的手-物体接触基本模式。
跨用户的倒角距离（6.828毫米）较仅视觉基线（19.92毫米）改善了65.7%，这表明即便应用于此前未见过的手部几何形状，我们的方法仍能保持较高的空间精度。图4中的定性结果展示了VibeMesh表现优异的几种具有挑战性的场景：在物体几何形状和手部存在部分遮挡的情况下，仅视觉基线难以准确确定接触区域，而VibeMesh的视听方法则能通过利用经手部传播的声学信号来正确识别接触区域。
---
Table 2: Performance comparison across different input modalities. We report average F1 Score ( $\uparrow$) and average Chamfer Distance ( $\downarrow$), along with performance on unseen objects and subjects.
| Method | Modality | Avg F1 ( \uparrow ) | Avg Chamfer ( \downarrow ) | Unseen Obj F1 ( \uparrow ) | Unseen Subj F1 ( \uparrow ) | Unseen Obj Chamfer ( \downarrow ) | Unseen Subj Chamfer ( \downarrow ) |
| w/o Audio | RGB | 0.096 \pm 0.071 | 9.853 \pm 2.140 | 0.078 \pm 0.062 | 0.082 \pm 0.060 | 10.215 \pm 2.356 | 9.934 \pm 2.218 |
| w/o Vision | Audio | 0.218 \pm 0.103 | 7.642 \pm 1.872 | 0.186 \pm 0.092 | 0.195 \pm 0.098 | 8.124 \pm 2.065 | 7.985 \pm 1.943 |
| w/o Fusion Module | RGB + Audio | 0.287 \pm 0.115 | 6.319 \pm 1.743 | 0.251 \pm 0.108 | 0.265 \pm 0.112 | 6.875 mm \pm 1.826 | 6.742 \pm 1.798 mm |
| VibeMesh | RGB + Audio | 0.327 \pm 0.122 | 5.487 \pm 1.612 mm | 0.288 \pm 0.111 | 0.302 \pm 0.116 | 6.042 \pm 1.755 mm | 6.828 \pm 1.704 mm |
### 4.3 基线与消融研究
我们进行了消融实验，以探究VibeMesh架构中各个组件的贡献，相关结果如表2所示。移除音频模态（“无音频”）后，F1分数下降了70.6%，倒角距离则增加了80.0%，这一结果证实声学信号为接触估计提供了视觉信息无法捕捉的关键数据。这种性能下降在接触情况复杂的场景中尤为明显，因为此时视觉线索的可靠性较低。
相反，“无视觉”变体——仅依赖声学特征——与完整模型相比，F1分数降低了33.3%。虽然声学传感在检测瞬态事件和材料属性方面表现优异，但它缺乏视觉信息所提供的空间精度，尤其是在定位手部网格上的接触点时。这凸显了两种模态的互补性。
“无融合模块”变体在简单拼接前独立处理音频和视觉特征，其F1分数下降了12.2%。这一结果凸显了我们跨模态注意力机制在整合两种模态信息方面的重要性。基于注意力的融合机制能够学习各模态的可靠性特征：当视觉信息不可靠时侧重声学线索，而当视觉信息可用时则利用其对精度的优势。
## 5 结论
我们提出了VibeMesh，这是一种用于手部姿态和接触估计的创新性视听方法，它将轻量级的穿戴式声学传感器与视觉观测相结合。研究结果表明，这种多模态系统在遮挡和静态接触等复杂场景下，性能显著优于纯视觉方法。通过融合声学传播模式与视觉手部重建所提供的互补信息，VibeMesh能够在不同物体和用户身上实现更稳健、更准确的接触估计。
VibeMesh针对该任务的核心洞见在于：手与物体的接触会改变手部的声学传输特性，这些特性可被测量和解读，即便视觉信息可能因接触条件的模糊性而无法捕捉此类交互。VibeMesh基于图结构的注意力网络能有效整合这些跨模态信号，学会发挥各模态的优势并弥补其局限性。最终得到的接触估计系统能在各种条件下保持高性能。
## 6 局限性
虽然VibeMesh相比纯视觉方法展现出持续的改进，但它仍存在局限性。首先，尽管压电接触式麦克风通过仅接收基于固体接触的声信号来机械性地滤除环境噪声，但我们并未给出VibeMesh在极端嘈杂环境下的鲁棒性测试结果。不过我们注意到，尽管数据采集过程中存在日常对话等常见环境音，麦克风信号却基本未受影响。其次，我们依赖带有基准标记的多视角摄像头系统来感知手部姿态及手-物交互情况，这些方法本质上属于间接的观察方式。虽然市面上已有一些商用力传感器或接触式传感器手套，能够直接采集手-物交互数据，但这类设备价格昂贵且空间分辨率较低。最后，VibeMesh在姿态与接触估计方面主要采用顺序处理模式：先利用视觉模型估算姿态，再结合姿态估计结果和声信号来推断接触情况。未来我们或许可以通过整合视觉与声信号，实现姿态与接触的同时推断，从而在每一步计算中充分利用两种模态的优势。
---
## 参考文献
[^1]: Ammar Ahmad, Cyrille Migniot, and Albert Dipanda. Hand pose estimation and tracking in real and virtual interaction: A review. Image and Vision Computing, 89:35–49, 2019.
[^2]: Giuseppe Airò Farulla, Daniele Pianu, Marco Cempini, Mario Cortese, Ludovico O Russo, Marco Indaco, Roberto Nerino, Antonio Chimienti, Calogero M Oddo, and Nicola Vitiello. Vision-based pose estimation for robot-mediated hand telerehabilitation. Sensors, 16(2):208, 2016.
[^3]: Valerio Belcamino, Alessandro Carfi, and Fulvio Mastrogiovanni. A systematic review on custom data gloves. IEEE Transactions on Human-Machine Systems, 2024.
[^4]: Samarth Brahmbbatt, Chengcheng Tang, Christopher D Twigg, Charles C Kemp, and James Hays. Contactpose: A dataset of grasps with object contact and hand pose. In Computer Vision–ECCV 2020: 16th European Conference, Glasgow, UK, August 23–28, 2020, Proceedings, Part XIII 16, pages 361–378. Springer, 2020.
[^5]: Paweł Buń, Jozef Husár, and Jakub Kaščak. Hand tracking in extended reality educational applications. In International scientific-technical conference MANUFACTURING, pages 317–325. Springer, 2022.
[^6]: Berk Calli, Arjun Singh, James Bruce, Aaron Walsman, Kurt Konolige, Siddhartha Srinivasa, Pieter Abbeel, and Aaron M Dollar. Yale-cmu-berkeley dataset for robotic manipulation research. The International Journal of Robotics Research, 36(3):261–268, 2017. doi: 10.1177/0278364917700714. URL .
[^7]: Zhe Cao, Ilija Radosavovic, Angjoo Kanazawa, and Jitendra Malik. Reconstructing hand-object interactions in the wild. In Proceedings of the IEEE/CVF international conference on computer vision, pages 12417–12426, 2021.
[^8]: Yu-Wei Chao, Wei Yang, Yu Xiang, Pavlo Molchanov, Ankur Handa, Jonathan Tremblay, Yashraj S Narang, Karl Van Wyk, Umar Iqbal, Stan Birchfield, et al. Dexycb: A benchmark for capturing hand grasping of objects. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 9044–9053, 2021.
[^9]: Xuxin Cheng, Jialong Li, Shiqi Yang, Ge Yang, and Xiaolong Wang. Open-television: Teleoperation with immersive active visual feedback. arXiv preprint arXiv:2407.01512, 2024.
[^10]: Jérôme Coupier, Samir Hamoudi, Sonia Telese-Izzi, Véronique Feipel, Marcel Rooze, and Serge Van Sint Jan. A novel method for in-vivo evaluation of finger kinematics including definition of healthy motion patterns. Clinical Biomechanics, 31:47–58, 2016.
[^11]: Roberto De Fazio, Vincenzo Mariano Mastronardi, Matteo Petruzzi, Massimo De Vittorio, and Paolo Visconti. Human-machine interaction through advanced haptic sensors: A piezoelectric sensory glove with edge machine learning for gesture and object recognition. Future Internet, 15(1):14, 2022.
[^12]: Ali Erol, George Bebis, Mircea Nicolescu, Richard D Boyle, and Xander Twombly. Vision-based hand pose estimation: A review. Computer Vision and Image Understanding, 108(1-2): 52–73, 2007.
[^13]: Zicong Fan, Adrian Spurr, Muhammed Kocabas, Siyu Tang, Michael J Black, and Otmar Hilliges. Learning to disambiguate strongly interacting hands via probabilistic per-pixel part segmentation. In 2021 International Conference on 3D Vision (3DV), pages 1–10. IEEE, 2021.
[^14]: Zicong Fan, Maria Parelli, Maria Eleni Kadoglou, Xu Chen, Muhammed Kocabas, Michael J Black, and Otmar Hilliges. Hold: Category-agnostic 3d reconstruction of interacting hands and objects from video. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 494–504, 2024.
## [^15]: Yuki Fujimori, Yoshiyuki Ohmura, Tatsuya Harada, and Yasuo Kuniyoshi. Wearable motion capture suit with full-body tactile sensors. In 2009 IEEE International Conference on Robotics and Automation, pages 3186–3193. IEEE, 2009
---
[^16]: Shreyas Hampali, Mahdi Rad, Markus Oberweger, and Vincent Lepetit. Honnotate: A method for 3d annotation of hand and object poses. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 3196–3206, 2020.
[^17]: Shreyas Hampali, Sayan Deb Sarkar, Mahdi Rad, and Vincent Lepetit. Keypoint transformer: Solving joint identification in challenging hands and object interactions for accurate 3d pose estimation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 11090–11100, 2022.
[^18]: Lee J. Hubble and Joseph Wang. Sensing at your fingertips: glove-based wearable chemical sensors. Electroanalysis, 31(3):428–436, 2019.
[^19]: Changlong Jiang, Yang Xiao, Cunlin Wu, Mingyang Zhang, Jinghong Zheng, Zhiguo Cao, and Joey Tianyi Zhou. A2j-transformer: Anchor-to-joint transformer network for 3d interacting hand pose estimation from a single rgb image. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 8846–8855, 2023.
[^20]: Zengsheng Kuang, Changxing Ding, and Huan Yao. Learning context with priors for 3d interacting hand-object pose estimation. In Proceedings of the 32nd ACM International Conference on Multimedia, pages 768–777, 2024.
[^21]: Chi-Jung Lee, Ruidong Zhang, Devansh Agarwal, Tianhong Catherine Yu, Vipin Gunda, Oliver Lopez, James Kim, Sicheng Yin, Boao Dong, Ke Li, Mose Sakashita, Francois Guimbretiere, and Cheng Zhang. Echowrist: Continuous hand pose tracking and hand-object interaction recognition using low-power active acoustic sensing on a wristband. In Proceedings of the CHI Conference on Human Factors in Computing Systems, CHI '24, page 1–21. ACM, May 2024. doi: 10.1145/3613904.3642910. URL .
[^22]: Lijun Li, Linrui Tian, Xindi Zhang, Qi Wang, Bang Zhang, Liefeng Bo, Mengyuan Liu, and Chen Chen. Renderih: A large-scale synthetic dataset for 3d interacting hand pose estimation. In Proceedings of the IEEE/CVF international conference on computer vision, pages 20395–20405, 2023.
[^23]: Yilin Liu, Shijia Zhang, and Mahanth Gowda. Neuropose: 3d hand pose tracking using emg wearables. In Proceedings of the Web Conference 2021, pages 1471–1482, 2021.
[^24]: Yiyue Luo, Chao Liu, Young Joong Lee, Joseph DelPreto, Kui Wu, Michael Foshey, Daniela Rus, Tomás Palacios, Yunzhu Li, Antonio Torralba, et al. Adaptive tactile interaction transfer via digitally embroidered smart gloves. Nature communications, 15(1):868, 2024.
[^25]: Eric Marchand, Hideaki Uchiyama, and Fabien Spindler. Pose estimation for augmented reality: a hands-on survey. IEEE transactions on visualization and computer graphics, 22(12): 2633–2651, 2015.
[^26]: Gyeongsik Moon, Ju Yong Chang, and Kyoung Mu Lee. V2v-posenet: Voxel-to-voxel prediction network for accurate 3d hand and human pose estimation from a single depth map. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 5079–5088, 2018.
[^27]: Yaru Niu, Yunzhe Zhang, Mingyang Yu, Changyi Lin, Chenhao Li, Yikai Wang, Yuxiang Yang, Wenhao Yu, Tingnan Zhang, Zhenzhen Li, et al. Human2locoman: Learning versatile quadrupedal manipulation with human pretraining. In Robotics: Science and Systems, 2025.
[^28]: Myungsun Park, Taejun Park, Soah Park, Sohee John Yoon, Sumin Helen Koo, and Yong-Lae Park. Stretchable glove for accurate and robust hand pose reconstruction based on comprehensive motion data. Nature communications, 15(1):5821, 2024.
[^29]: Georgios Pavlakos, Dandan Shan, Ilija Radosavovic, Angjoo Kanazawa, David Fouhey, and Jitendra Malik. Reconstructing hands in 3d with transformers. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 9826–9836, 2024.
## [^30]: Yuzhe Qin, Wei Yang, Binghao Huang, Karl Van Wyk, Hao Su, Xiaolong Wang, Yu-Wei Chao, and Dieter Fox. Anyteleop: A general vision-based dexterous robot arm-hand teleoperation system. arXiv preprint arXiv:2307.04577, 2023
---
[^31]: Santosh Rath. Hand kinematics: application in clinical practice. Indian journal of plastic surgery, 44(02):178–185, 2011.
[^32]: Nikhila Ravi, Valentin Gabeur, Yuan-Ting Hu, Ronghang Hu, Chaitanya Ryali, Tengyu Ma, Haitham Khedr, Roman Rädle, Chloe Rolland, Laura Gustafson, Eric Mintun, Junting Pan, Kalyan Vasudev Alwala, Nicolas Carion, Chao-Yuan Wu, Ross Girshick, Piotr Dollár, and Christoph Feichtenhofer. Sam 2: Segment anything in images and videos. arXiv preprint arXiv:2408.00714, 2024. URL .
[^33]: Javier Romero, Dimitrios Tzionas, and Michael J. Black. Embodied hands: Modeling and capturing hands and bodies together. ACM Transactions on Graphics, (Proc. SIGGRAPH Asia), 36(6), November 2017.
[^34]: Romer Rosales, Vassilis Athitsos, Leonid Sigal, and Stan Sclaroff. 3d hand pose reconstruction using specialized mappings. In Proceedings Eighth IEEE International Conference on Computer Vision. ICCV 2001, volume 1, pages 378–385. IEEE, 2001.
[^35]: Christina Salchow-Hörmen, Leonie Callies, Daniel Laidig, Markus Valtin, Thomas Schauer, and Thomas Seel. A tangible solution for hand motion tracking in clinical applications. Sensors, 19(1):208, 2019.
[^36]: Sasha Salter, Richard Warren, Collin Schlager, Adrian Spurr, Shangchen Han, Rohin Bhasin, Yujun Cai, Peter Walkington, Anuoluwapo Bolarinwa, Robert J Wang, et al. emg2pose: A large and diverse benchmark for surface electromyographic hand pose estimation. Advances in Neural Information Processing Systems, 37:55703–55728, 2024.
[^37]: Kyungjin Seo, Junghoon Seo, Hanseok Jeong, Sangpil Kim, and Sang Ho Yoon. Posture-informed muscular force learning for robust hand pressure estimation. In The Thirty-eighth Annual Conference on Neural Information Processing Systems, 2024.
[^38]: Yuto Shibata, Yutaka Kawashima, Mariko Isogawa, Go Irie, Akisato Kimura, and Yoshimitsu Aoki. Listening human behavior: 3d human pose estimation with acoustic signals. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 13323–13332, 2023.
[^39]: Tomas Simon, Hanbyul Joo, Iain Matthews, and Yaser Sheikh. Hand keypoint detection in single images using multiview bootstrapping. In Proceedings of the IEEE conference on Computer Vision and Pattern Recognition, pages 1145–1153, 2017.
[^40]: Jiaqi Sun, Guangda Liu, Yubing Sun, Kai Lin, Zijian Zhou, and Jing Cai. Application of surface electromyography in exercise fatigue: a review. Frontiers in Systems Neuroscience, 16:893275, 2022.
[^41]: Anilkumar Swamy, Vincent Leroy, Philippe Weinzaepfel, Fabien Baradel, Salma Galaaoui, Romain Brégier, Matthieu Armando, Jean-Sebastien Franco, and Grégory Rogez. Showme: Robust object-agnostic hand-object 3d reconstruction from rgb video. Computer Vision and Image Understanding, 247:104073, 2024.
[^42]: Arvin Tashakori, Zenan Jiang, Amir Servati, Saeid Soltanian, Harishkumar Narayana, Katherine Le, Caroline Nakayama, Chieh-ling Yang, Z Jane Wang, Janice J Eng, et al. Capturing complex hand movements and object interactions using machine learning-powered stretchable smart textile gloves. Nature Machine Intelligence, 6(1):106–118, 2024.
[^43]: Gyan Tatiya, Jonathan Francis, Ho-Hsiang Wu, Yonatan Bisk, and Jivko Sinapov. Mosaic: Learning unified multi-sensory object property representations for robot learning via interactive perception. In 2024 IEEE International Conference on Robotics and Automation (ICRA), pages 15381–15387. IEEE, 2024.
## [^44]: Stephen Tyree, Jonathan Tremblay, Thang To, Jia Cheng, Terry Mosier, Jeffrey Smith, and Stan Birchfield. 6-dof pose estimation of household objects for robotic manipulation: An accessible dataset and benchmark. In International Conference on Intelligent Robots and Systems (IROS), 2022
---
[^45]: Dimitrios Tzionas, Luca Ballan, Abhilash Srikantha, Pablo Aponte, Marc Pollefeys, and Juergen Gall. Capturing hands in action using discriminative salient points and physics simulation. International Journal of Computer Vision, 118:172–193, 2016.
[^46]: Ryan J Visee, Jirapat Likitlersuang, and Jose Zariffa. An effective and efficient method for detecting hands in egocentric videos for rehabilitation applications. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 28(3):748–755, 2020.
[^47]: Rong Wang, Wei Mao, and Hongdong Li. Deepsimho: Stable pose estimation for hand-object interaction via physics simulation. Advances in Neural Information Processing Systems, 36:79685–79697, 2023.
[^48]: Rong Wang, Wei Mao, and Hongdong Li. Interacting hand-object pose estimation via dense mutual attention. In Proceedings of the IEEE/CVF winter conference on applications of computer vision, pages 5735–5745, 2023.
[^49]: Shiyang Wang, Xingchen Wang, Wenjun Jiang, Chenglin Miao, Qiming Cao, Haoyu Wang, Ke Sun, Hongfei Xue, and Lu Su. Towards smartphone-based 3d hand pose reconstruction using acoustic signals. ACM Transactions on Sensor Networks, 20(5):1–32, 2024.
[^50]: Shiyang Wang, Henglin Pu, Qiming Cao, Wenjun Jiang, Xingchen Wang, Tianci Liu, Zhengxin Jiang, Hongfei Xue, and Lu Su. Ram-hand: Robust acoustic multi-hand pose reconstruction using a microphone array. In Proceedings of the 23rd ACM Conference on Embedded Networked Sensor Systems, pages 130–143, 2025.
[^51]: Yilin Wen, Hao Pan, Lei Yang, Jia Pan, Taku Komura, and Wenping Wang. Hierarchical temporal transformer for 3d hand pose estimation and action recognition from egocentric rgb videos. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 21243–21253, 2023.
[^52]: Min-Yu Wu, Pai-Wen Ting, Ya-Hui Tang, En-Te Chou, and Li-Chen Fu. Hand pose estimation in object-interaction based on deep learning for virtual reality applications. Journal of Visual Communication and Image Representation, 70:102802, 2020.
[^53]: Donglai Xiang, Hanbyul Joo, and Yaser Sheikh. Monocular total capture: Posing face, body, and hands in the wild. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 10965–10974, 2019.
[^54]: Yufei Ye, Poorvi Hebbar, Abhinav Gupta, and Shubham Tulsiani. Diffusion-guided reconstruction of everyday hand-object interaction clips. In Proceedings of the IEEE/CVF international conference on computer vision, pages 19717–19728, 2023.
[^55]: Zhao-Heng Yin, Changhao Wang, Luis Pineda, Francois Hogan, Krishna Bodduluri, Akash Sharma, Patrick Lancaster, Ishita Prasad, Mrinal Kalakrishnan, Jitendra Malik, et al. Dexteritygen: Foundation controller for unprecedented dexterity. arXiv preprint arXiv:2502.04307, 2025.
[^56]: Masairo Yoshikawa, Masahiko Mikawa, and Kazuyo Tanaka. Hand pose estimation using emg signals. In 2007 29th Annual International Conference of the IEEE Engineering in Medicine and Biology Society, pages 4830–4833. IEEE, 2007.
[^57]: Tianhong Catherine Yu, Guilin Hu, Ruidong Zhang, Hyunchul Lim, Saif Mahmud, Chi-Jung Lee, Ke Li, Devansh Agarwal, Shuyang Nie, Jinseok Oh, et al. Ring-a-pose: A ring for continuous hand pose tracking. Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies, 8(4):1–30, 2024.
[^58]: Ce Zheng, Wenhan Wu, Chen Chen, Taojiannan Yang, Sijie Zhu, Ju Shen, Nasser Kehtarnavaz, and Mubarak Shah. Deep learning-based human pose estimation: A survey. ACM Computing Surveys, 56(1):1–37, 2023.
## [^59]: Lucas Alexandre Zick, Dieisson Martinelli, André Schneider de Oliveira, and Vivian Cremer Kalempa. Teleoperation system for multiple robots with intuitive hand recognition interface. Scientific Reports, 14(1):1–11, 2024
---
[^60]: Christian Zimmermann and Thomas Brox. Learning to estimate 3d hand pose from single rgb images. In Proceedings of the IEEE international conference on computer vision, pages 4903–4911, 2017.
[^61]: Christian Zimmermann, Duygu Ceylan, Jimei Yang, Bryan Russell, Max Argus, and Thomas Brox. Freihand: A dataset for markerless capture of hand pose and shape from single rgb images. In Proceedings of the IEEE/CVF international conference on computer vision, pages 813–822, 2019.