# VIHand：基于视觉-惯性基准的3D手部姿态估计增强 王欣怡 上海交通大学 中国上海 盛鑫 天津大学 中国天津 任鹏飞 $^{*}$ 北京邮电大学 中国北京 李达 南开大学 中国天津 张浩阳 $^{*}$ 国防创新研究院， 军事科学院 中国北京 谢亮 国防创新研究院， 军事科学院 中国北京 高月 人工智能教育部重点实验室， 上海交通大学人工智能研究院 中国上海 ## 摘要 准确且鲁棒的3D手部姿态估计（HPE）在人机交互中发挥着至关重要的作用。现有的3D HPE解决方案主要依赖基于视觉的方法或惯性测量单元（IMU）方法。基于视觉的方法凭借丰富的外观信息可实现高精度的HPE，但对视野（FoV）、遮挡、运动模糊和光照条件较为敏感；基于IMU的方法可不受光学敏感性和视野限制的影响，但容易受累积积分误差和漂移的影响。鉴于二者优势互补，将双模态结合为复杂环境下的HPE提供了有前景的方向。然而，大规模视觉-惯性数据集的缺失限制了该领域的发展。在本文中，我们构建了VIH——首个用于视觉-惯性HPE的大规模手套佩戴型数据集，包含来自15名受试者的超过140万帧同步RGB-D和IMU数据，能够为HPE任务的研究提供全面支持，例如多模态融合和跨模态知识迁移。基于VIH，我们提出了用于双模态估计的视觉-惯性融合网络（VIFNet），以及用于仅IMU场景评估的蒸馏学生模型（VIFNet-S）。实验结果表明，融合视觉与惯性模态能显著提升3D HPE的精度和鲁棒性，尤其是在存在遮挡和运动的情况下。 尹尔伟 1. 上海交通大学 2. 国防创新研究院，军事科学院 中国上海 模糊现象。在仅使用IMU进行推理的场景下，即使是稀疏配置的IMU，从视觉-惯性监督中蒸馏出的模型也能取得显著的性能提升，从而为对光学条件敏感的挑战性场景实现鲁棒的HPE。我们的数据集和补充材料可在项目网站上获取。 ## CCS概念 • 计算方法 $\rightarrow$ 动作捕捉；• 活动识别与理解； ## 关键词 多模态、手部姿态估计、IMU、知识蒸馏 ## ACM参考格式 王欣怡、任鹏飞、张浩阳、盛鑫、李大、谢亮、高月和尹尔伟。2025年。VIHand：基于视觉-惯性基准的3D手部姿态估计增强研究。收录于第33届ACM国际多媒体会议（MM '25）论文集，2025年10月27日至31日于爱尔兰都柏林举行。ACM出版社，美国纽约，共8页。 ## 1 引言 3D手部姿态估计（HPE）技术在人机交互（HCI）领域具有广阔的应用前景，包括增强现实（AR）[^41]、虚拟现实（VR）[^48]以及人机交互（HCI）[^47]等。要在这些领域成功应用，3D HPE方法必须能够实现精准估计、实时性能，并在各种环境下保持鲁棒性。 现有的3D HPE解决方案主要依赖基于视觉或惯性测量单元（IMU）的方法。基于视觉的方法通过单目或多目RGB[^11] [^20] [^33] [^36] [^37] [^44]、深度[14–16, 39]或RGB-D[^34] [^45] [^58]摄像头来估计手部形状和姿态。尽管近年来其精度有了显著提升， --- 但它们仍受限于视场角（FoV）约束，且容易受到遮挡、运动模糊和光照变化的影响。相比之下，基于IMU的方法通过直接采集手部运动信号，能够不受光学敏感性和视场角约束的影响[^1] [^4] [^19] [^27]。然而，它们仍存在累积积分误差、磁干扰和显著漂移等问题。总体而言，基于视觉的方法存在隐私问题，且难以应对复杂的手部运动范围；基于IMU的技术则无法达到高精度的手部重建效果。这些局限性削弱了单模态方法的鲁棒性和泛化能力。 ![Image](images/80bebb5c0dc2eda17e1f64ff04bffdc997d3e9389b0c6f23bb9613ac82b313b4.jpg)
Figure 1: An overview of the VIH and benchmark.
实际上，视觉与IMU两种模态具有高度互补性：前者能捕捉丰富的外观细节，如纹理、轮廓、形状等；后者则能提供3D动态手部运动信息，包括关节旋转、加速度和速度变化等。通过融合这两种模态，视觉可以弥补IMU在语义丰富度上的不足，而IMU则能解决视觉的光学限制，从而提升HPE的鲁棒性和泛化能力。然而，现有大规模HPE数据集主要聚焦于视觉模态，目前尚无公开的用于手势交互任务的视觉-惯性数据集，这限制了该领域的发展。 在本文中，我们提出了VIHand——一个包含精确3D手部关节坐标和MANO参数标注的大规模视觉-惯性数据集，如图1（左）所示。据我们所知，这是首个大规模的穿戴式手套视觉-惯性数据集，包含来自15名受试者的超过140万帧多模态数据，涵盖了多种复杂手势。VIHand旨在填补当前多模态HPE研究中的重要空白。凭借其丰富的时间同步视觉-惯性数据和高品质标注，VIHand能够为HPE任务的相关研究提供支持，包括多模态融合、跨模态知识迁移和跨模态数据生成等。它为在实际应用中实现模态补偿和单模态增强奠定了坚实基础。 在VIHand的基础上，我们构建了两个基准测试，以探索视觉-惯性融合在提升3D手部姿态估计方面的潜力，如图1（右侧）所示。我们首先介绍VIFNet——一种融合框架，它将RGB图像中的外观特征与IMU信号中的3D运动学特征相结合。这种多模态策略在存在遮挡、运动模糊和光照变化等挑战性条件下，显著提升了估计性能。为了验证跨模态知识蒸馏的有效性，我们提出了一种学生框架VIFNet-S，用于仅依赖IMU的手部姿态估计。在VIFNet提供的语义监督下，VIFNet-S仅利用IMU就能实现高精度的估计结果，为现实应用中基于可穿戴IMU的手部姿态估计提供了一种实用且轻量级的解决方案。总之，我们的贡献可总结如下： - 我们构建了VIH，这是首个用于3D手部姿态估计的大规模视觉-惯性数据集，包含超过140万帧RGB-D图像和IMU数据，并配有精确的3D关节及MANO标注。该数据集支持多模态融合以及跨模态知识蒸馏，可在多种场景下提升手部姿态估计效果。 - 我们在VIHand上提出了针对多模态融合和跨模态知识蒸馏的基准测试。VIFNet通过融合RGB数据与IMU数据来优化手部姿态估计；VIFNet-S则将VIFNet的知识蒸馏给仅依赖IMU的学生模型，即便在IMU数据稀疏的情况下也能实现高精度估计。 - 我们在VIH数据集上对现有最先进的模型进行了基准测试，揭示了复杂自遮挡场景给现有方法带来的挑战。实验结果证明了多模态融合与跨模态知识蒸馏在提升手部姿态估计效果方面的有效性。 ## 2 相关工作 ### 2.1 基于视觉的方法 基于视觉的方法旨在从外观或几何信息中估计手部姿态。这类方法通常分为基于RGB的方法[^11] [^20] [^36] [^37] [^44]和基于深度的方法[14–16, 39]。本文重点关注基于RGB的方法。早期的研究[^26] [^44] [^53] [^55] [^56]主要采用骨架回归范式，直接从单张RGB图像预测3D关节位置。近期的研究则转向基于MANO模型[^2] [^28] [^29] [^36] [^37]和基于网格的方法[6–8]。尽管在现有数据集上表现优异，但基于视觉的方法在现实场景中仍面临局限：(1) 视野范围受限；(2) 基于外观的模型对遮挡、光照、运动模糊和背景杂乱极为敏感。这些挑战限制了它们在自然人机交互和动态环境中的泛化能力与鲁棒性。 ### 2.2 基于IMU的方法 作为基于视觉方法的替代方案，基于IMU的方法因其固有的便携性和对视觉限制的强鲁棒性而逐渐受到关注 [^10]。早期的基于IMU的研究主要集中在手势识别 [^9] [^21] [^60] 和运动轨迹跟踪任务 [^24] [^25]。随后，一些研究人员探索了采用密集配置（10–18个IMU）来进行3D人体姿态估计 [^1] [^4] [^19] [^27]，在VR/AR和康复场景中展现出极强的抗遮挡能力。尽管密集的IMU配置能提供更精确的估计结果，但它们通常存在佩戴不便和硬件笨重等问题，从而限制了其在日常应用中的实用性。为了提高便携性，近期的研究开始探索全身稀疏IMU布局 [^35] [^59] [^62] 以及手部姿态估计 [^43] [^46] [^51] [^63]。例如，Shen等人 [^43] 报告称，使用单个腕部安装的IMU时，手腕位置误差为13.3厘米；而LimbMotion [^63] 通过引入声学测距技术，将误差进一步缩小至8.9厘米。虽然这些方法证明了利用稀疏设置实现3D人体姿态估计的可行性，但基于IMU的方法仍面临关键局限：(1) 它们的预测误差往往较大； ---
Table 1: Comparison of existing 3D HPE datasets and VIH and. For the RGB-D datasets, we report their RGB resolution. To count the number of images, we consider images from multi-view at the same time step as different ones.
DatasetAccessibleData ModalityMetadataAnnotations
RGBDepthIMUTypeResolutionSubjectsFramesMethodJoint CoordMANO
ICVL [^48]✓✗✓✗real320x2401018Ktrack✓✗
NYU [^49]✓✗✓✗real640x4802243Ktrack✓✗
STB [^61]✓✓✓✗real640x480136Kmanual✓✗
RHD [^64]✓✓✓✗syn320x3202044Ksynthetic✓✗
HO-3D [^18]✓✓✗✗real640x4801078Kautomatic✓✗
FreiHAND [^65]✓✓✗✗real224x22432134Ksemi-auto.✓✓
InterHand2.6M [^32]✓✓✗✗real512x334272.6Msemi-auto.✓✓
RGB2Hands [^50]✓✓✓✗real640x4802108Kmanual✓✓
DexYCB [^5]✓✓✓✗real640x48010582Kmanual✓✓
H2O [^23]✓✓✓✗real1280x7204571Kautomatic✓✓
OakInk [^54]✓✓✓✗real848x48012230Kmanual✓✓
Re:InterHand [^31]✓✓✗✗real1024x668101.5Msemi-auto.✓✓
Kortier et al. [^22]✗✗✗✓realN/AN/AN/Amarker✓✗
Yang et al. [^57]✗✗✗✓realN/AN/AN/Amarker✓✗
HANDMI4 [^30]✓✗✗✓realN/A20N/Amarker✓✗
VIHand✓✓✓✓real1280x720151.4Msemi-auto.✓✓
(2) 大多数方法仅能估计手腕或指尖位置，无法精确描述整个手部的关节活动；以及 (3) 信号积分误差会不断累积，且对磁干扰极为敏感 [^38]。 ### 2.3 3D手部姿态估计数据集 在3D人体姿态估计领域，基于学习的方法严重依赖能够捕捉多样化真实场景的大规模数据集 [^12]。现有的大多数公开数据集 [^3] [^5] [^13] [^18] [^23] [^32] [^48] [^49] [^52] [^65] 主要侧重于视觉模态。基于IMU的方法传统上依赖于手工设计的运动模型和卡尔曼滤波等积分技术，因此对大规模标注数据集的需求较低，这也成为了推动多模态人体姿态估计研究的主要瓶颈。表1展示了现有3D手部姿态数据集及VIHand的技术规格。早期的数据集受Kinect设备的启发，包含深度图 [^48] [^49]。为了更贴合实际应用，STB [^61] 引入了带有简单手部姿势的RGB图像，但该数据集的多样性和规模有限。RHD [^64] 通过生成覆盖范围更广的合成数据集解决了可扩展性问题，不过域差异仍制约着其在现实世界中的应用。更近期的数据集，包括FreiHAND [^65]、HO-3D [^18]、InterHand2.6M [^32]、ContactPose [^3] 和 DexYCB [^5]，提供了多视角图像和高精度的3D标注，能够捕捉真实的手部变形和物体交互情况。 尽管有这些改进，基于视觉的数据集仍受限于摄像头的视场角以及视觉传感的内在缺陷，从而阻碍了在复杂现实场景中的稳健建模。此外，现有数据集仅关注裸手情况，忽略了实际应用中常见的戴手套情形。我们的数据集旨在填补这一空白。在本文中，我们介绍了VIH——一个用于3D手部姿态估计的大规模、多模态且高保真的数据集。VIH能够同步采集RGB、深度和IMU数据。每个样本都包含精确的3D手部关节坐标和MANO参数，以支持高分辨率的姿态建模。该数据集同时涵盖了裸手和戴手套的交互情况，更贴合实际应用场景。 ## 3 VIHand数据集 ### 3.1 数据采集 采集装置。VIHand是使用多传感器平台（图2）采集的，该平台由五台Intel RealSense D415i摄像头和一只配备7个IMU传感器的数据手套组成。具体而言，5台摄像头被放置在手部周围的不同视角位置，以$1280 \times 720$分辨率、30 FPS的帧率同步采集高分辨率的RGB-D流。多摄像头系统通过3D校准靶标[^17]进行校准，像素级的重投影误差均方根值在0.42到0.48像素之间。为了丰富光照条件并模拟多样化的照明环境，还部署了四盏外部灯光。数据手套上在手腕、手背以及5根手指的指尖处共嵌入了7个IMU传感器。每个IMU都采用9轴的ICM-20948芯片，能够以30 FPS的速率采集三轴加速度、角速度和磁场数据。我们记录了这些惯性数据，以及由板载传感器融合算法实时计算出的四元数和方向矩阵。 参与者。我们招募了15名参与者（8男7女），他们的年龄和手型各不相同。所有参与者均签署了知情同意书，允许将其数据用于研究和商业应用。为保护隐私，数据集经过匿名化处理，去除了个人可识别信息。我们的数据采集工作已获得当地机构审查委员会（IRB）的批准。 采集流程。每位参与者需完成15组手势序列，包括14组预定义序列和1组随机序列。预定义手势涵盖了各类日常手部动作，包括常见的手语表达以及各种程度的手指屈伸动作。其中还包括多种复杂的手势，如手指交叉、互锁、摆动、敲击、捏合、弯曲、弹指等。 --- ![Image](images/4dd7115f4ee033a23ef1e1ad864cab9174007b3da7c82f542a70c536ea93cd65.jpg)
Figure 2: Recording setup with 5 temporally synchronized RGB-D cameras and a dataglove intergrated 7 IMUs.
滑动动作。这些手势涵盖了动作驱动型、姿态导向型和复合型等多种类别，展现出丰富的结构变化和语义多样性。随机手势序列由大约一分钟的自发连续手部运动组成，旨在模拟自然、无约束的行为。VIH的设计目的是捕捉具有代表性且自然多样的手部姿态分布，而非针对特定任务或手势分类进行优化。如图3所示，与目前应用最广泛的手部数据集FreiHAND [^65]相比，我们的数据集在3D姿态多样性方面表现显著更佳。
Figure 3: t-SNE visualization for hand pose distribution of VIHand and FreiHAND [^65].
![Image](images/c7a26436ba083436aeea0a93f7c45804f82fbc72b262843145be09f876f4299b.jpg) ### 3.2 数据标注 VIHand遵循标准的21关节标注方案[^61]，该方案涵盖了每个手指的指尖以及三个指骨关节中心，还有腕关节。不过，对大规模手部姿态数据集进行标注既耗时又费力。为了在标注精度与可扩展性之间取得平衡，我们采用了两阶段流程，将自动机器标注与人工精修相结合。在第一阶段，我们采用自动机器标注。由于我们所使用的手套佩戴数据集存在严重的全局遮挡现象且视觉对比度较低，基于RGB的先进机器标注技术在准确标注关节位置方面面临挑战。此外，传统的基于标记的方法不仅会干扰自然运动，还会污染手部表面的视觉效果，从而大幅降低真实感，并对下游模型的泛化能力产生不利影响。相比之下，我们采用了基于多视角深度图像的自监督标注方法[^40]，该方法有效解决了视觉纹理模糊以及标记引发的伪影问题。具体而言，按照CrossView Fusion Network（CVFN）策略，将自监督关键点检测器应用于未标注的多视角序列；随后利用基于RANSAC的三角测量法重建3D关键点。这一自动化阶段能为大多数帧生成精确且一致的3D关节坐标以及MANO参数。我们在预留的评估集上测试了该方法，结果显示平均关节位置误差为3.86毫米。在第二阶段，由专业标注员团队对机器生成的结果进行人工审核与精修，对置信度低或错误的预测结果重新标注，以确保高质量的基准真值。最终的标注结果融合了高置信度的自动估计值与人工修正结果，兼顾了精度与可扩展性。依据这一工作流程，VIHand被标注了14,012,258帧同步的RGB、深度及IMU数据，同时配有精确的3D手部关节坐标与MANO参数。图1（左侧）展示了相关可视化示例，更多细节详见补充材料。 ## 4 基准测试 在本节中，为了探索VIH的潜力并推动多任务HPE的发展，我们提出了VIFNet和VIFNet-S，二者分别实现了多模态融合与跨模态知识蒸馏功能的增强。整体流程如图4所示。 ### 4.1 VIFNet 为了实现视觉-惯性融合并达成高精度的3D HPE，VIFNet并行利用RGB与IMU数据。它包含三个阶段：视觉-惯性特征提取、多模态特征融合以及手部姿态回归。 对于视觉模态，ResNet-18骨干网络会将RGB图像编码为初始特征图$F_c \in \mathbb{R}^{H \times W \times C}$。这些特征图会经过空间注意力模块的处理，该模块会对$F_c$重新加权，从而生成经过优化的特征$F_r$，在突出手部显著区域的同时抑制背景噪声。随后，$F_r$会被划分为七个组，即$\{F_{rgb}^{(k)}\}_{k=1}^7$，使每组能够专注于处理手部的不同空间特征。与此同时，七组对应的IMU信号（三轴加速度和九轴方向数据），也就是$\{S_{imu}^{(k)}\}_{k=1}^7$，也会被进行处理。每组信号$S_{imu}^{(k)} \in \mathbb{R}^{T \times D_{raw}}$（其中T为序列长度，$D_{raw}$为每个传感器读数的原始特征维度）会通过学习得到的嵌入层投影到更高维度的嵌入空间$E_{imu} \in \mathbb{R}^{T \times D_{embed}}$。这些嵌入后的序列会送入Transformer编码器，以捕捉其中的时间依赖关系以及传感器间的相关性。最终会得到七个鲁棒性强的、针对各组的IMU特征向量，即$\{G_{imu}^{(k)}\}_{k=1}^7$。 VIFNet采用跨模态注意力机制（CMAM）来整合视觉与惯性特征。如图4所示，这七组分组后的视觉特征$\{F_{\mathrm{rgb}}^{(k)}\}_{k=1}^{7}$以及对应的IMU特征$\{G_{\mathrm{imu}}^{(k)}\}_{k=1}^{7}$会先被送入CMAM模块进行处理。随后，多头自注意力（MHSA）模块会捕捉每种模态内部复杂的内部关系。这使得模型能够 --- ![Image](images/f694dd5b9478b57b2702cdace0cf316ff3e8a134b8ae6635e376303534d99655.jpg)
Figure 4: Overall framework. The fusion model (VIFNet) takes a monocular RGB and IMU data as input, extracts spatial and temporal features, and fuses them via cross attention mechanism. The fused features are then decoded by the MANO layer to estimate 3D hand pose. The student model (VIFNet-S), trained on IMU data alone, learns to mimic the VIFNet's fused features representation through knowledge distillation.
动态调整每种模态及各组的贡献度，从而捕捉互补的线索并解决单一模态固有的歧义问题。最终输出的是一组统一的融合特征$F_{fused}$，它们编码了手部运动的空间与时间特征。这些特征会先经过多层感知机（MLP）处理，用于预测MANO [^42]参数$\Psi = \{\theta, \beta, R, t, s\}$，之后这些参数会被送入MANO解码器，用以计算3D手部网格顶点$V \in \mathbb{R}^{778 \times 3}$以及关节位置$J \in \mathbb{R}^{21 \times 3}$。VIFNet模型通过最小化复合损失函数$\mathcal{L}_{VIFNet}$来实现端到端的训练，该函数汇总了多种关键损失项，以确保准确的3D手部姿态估计： $$ \mathcal{L}_{\mathrm{VIFNet}}=\lambda_{\mathrm{3D}}\mathcal{L}_{\mathrm{3D}}+\lambda_{\mathrm{2D}}\mathcal{L}_{\mathrm{2D}}+\lambda_{\mathrm{MANO}}\mathcal{L}_{\mathrm{MANO}}+\lambda_{\mathrm{hp}}\mathcal{L}_{\mathrm{hp}} $$ 关于$\mathcal{L}_{\mathrm{VIFNet}}$的详细内容详见补充材料。 ### 4.2 VIFNet-S 由于便携性强，仅依赖IMU的手部姿态估计在现实应用中极具吸引力。然而，低信噪比以及缺乏外观线索的问题限制了其精度。我们利用VIH——一种能够同时捕捉外观与运动数据的框架，提出了采用跨模态知识蒸馏策略的VIFNet-S。该方法利用了手部外观与运动模式之间强烈的语义对应关系，从而能够将从视觉-惯性监督中学习到的丰富表征，迁移到即便在IMU配置稀疏的情况下也能正常工作的仅IMU模型中。 我们首先对齐学生模型（VIFNet-S）与教师模型（VIFNet）的中间表征。具体而言，VIFNet生成的融合特征（$F_{fused}^{T}$）会被用作监督信号，以指导学生的基于IMU的特征（$F_{imu}^{S}$）。为了使学生的基于IMU的特征与教师的融合表征对齐，我们采用了对比蒸馏损失$\mathcal{L}_{ts}$。该损失函数会促使学生的特征与其对应的教师特征尽可能接近，同时与批次中的其他特征保持距离。这种对齐有助于学生捕捉更丰富、更具区分性的信息。VIFNet-S模型通过复合损失函数进行优化，该函数记为$\mathcal{L}_{VIFNet-S}$，它协同整合了直接监督与知识蒸馏两种机制： $$ \mathcal{L}_{\mathrm{VIFNet-S}}=\alpha_{\mathrm{3D}}\mathcal{L}_{\mathrm{3D}}+\alpha_{\mathrm{2D}}\mathcal{L}_{\mathrm{2D}}+\alpha_{\mathrm{MANO}}\mathcal{L}_{\mathrm{MANO}}+\alpha_{\mathrm{ts}}\mathcal{L}_{\mathrm{ts}} $$ $\mathcal{L}_{VIFNet-S}$的详细信息见补充材料。 ## 5 实验 ### 5.1 实验设置 数据集划分策略。VIH数据集按受试者单独划分，其中15个手势序列中有12个被划入训练集，剩余3个序列用于测试。这种固定划分方式在所有参与者中保持一致，且应用于所有实验，以确保比较的公平性与可重复性。 实现细节。实验基于PyTorch框架在NVIDIA RTX 4090 GPU上开展。为准备训练和推理所需的输入数据，RGB图像会先被缩放至$256 \times 256$尺寸，随后再中心裁剪为$224 \times 224$尺寸。训练阶段批量大小设为32，共进行80个epoch。初始学习率设定为0.0001，在20个epoch后按0.1的比例衰减。所有网络均使用Adam优化器进行训练。评估指标方面，我们采用平均关节位置误差（MPJPE）和平均顶点位置误差（MPVPE）作为评估指标，用以衡量估计坐标与真实坐标之间的欧几里得距离（单位：毫米）。计算指标前，我们会先对齐根腕关节的平移量。 --- ### 5.2 基准测试评估 我们将VIHand与现有的基于IMU的方法（[^59]、[^35]）以及基于视觉的方法（[^36]、[^37]）进行基准测试。如表2所示，依赖7个IMU的基于IMU的方法（TransPose [^59]和FusePose [^35]）在准确重建3D结构与精细姿态方面存在困难。基于视觉的方法（HaMeR [^36]和WiLoR [^37]）尽管能利用丰富的图像信息，但因关节自遮挡问题导致性能下降。相比之下，我们的VIFNet通过有效融合RGB与IMU信息，能够稳健地估计3D手部姿态，分别取得了最低的MPJPE和MPVPE结果。图5进一步证实，即使在复杂的自遮挡手势场景下，我们的VIFNet也能比以往方法产生更好的结果。此外，补充材料中还提供了消融研究内容。
Table 2: Benchmark of state-of-the-art methods with MPJPE (mm) and MPVPE (mm). † indicates ground-truth tested methods, * denotes additional training on VIH and.
MethodsRGBIMU#IMUsMPJPEMPVPE
TransPose $^{{*}}$ [^59]✗✓721.8424.76
FusePose $^{{*}}$ [^35]✗✓718.5622.32
HaMeR $^{\dagger}$ [^36]✓✗-11.9813.67
WiLoR $^{\dagger}$ [^37]✓✗-10.4911.74
VIFNet✗✓716.9319.41
VIFNet✓✗-8.739.85
VIFNet-S✗✓713.6916.53
VIFNet✓✓77.868.94
### 5.3 仅使用IMU的设置下的评估 我们进一步评估了VIHand在仅使用IMU进行推理时的跨模态知识蒸馏性能，测试场景包括7个IMU、3个IMU（腕部、拇指、中指）以及2个IMU（腕部、中指）配置。如表3所示，当传感器数量从7个减少至3个甚至2个时，未采用知识蒸馏的方法性能显著下降。这表明传统训练方法难以在有限的IMU输入下保持原有的精度。相比之下，由教师模型蒸馏得到的VIFNet-S在相同的稀疏设置下仍能保持强劲的性能。该模型在使用7个IMU时MPJPE可达13.69毫米，而使用3个IMU时仍能达到18.26毫米，仅使用2个IMU时也可达到20.72毫米，性能明显优于其他方法。MPVPE的结果也呈现出与MPJPE相似的趋势，这证明跨模态蒸馏能够有效传递语义表征，即便在IMU传感器稀疏的情况下也能实现准确的姿态估计。 ## 6 结论 我们提出了VIH——一个用于3D手部姿态估计的大规模视觉-惯性数据集，包含来自15名受试者的超过140万帧同步RGB-D与IMU数据。它填补了高质量视觉-惯性数据的空白，为深度语义对齐与信息融合搭建了桥梁。 ![Image](images/fbbf210cc3f89dbc4eee8ca7335316bb7b4c5ac4f30d7a90cc950d9f118f848f.jpg)
Figure 5: Qualitative results for HaMeR[^36], WiLoR [^37], VIFNet and ground-truth (GT) on VIH and from top to bottom.
Table 3: Benchmark of state-of-the-art methods using MPJPE (mm) and MPVPE (mm) under different IMU settings.
MethodsRGBIMU#IMUsMPJPEMPVPE
TransPose [^59]✗✓721.8424.76
FusePose [^35]✗✓718.5622.32
VIFNet✗✓716.9319.41
VIFNet-S✗✓713.6916.53
TransPose [^59]✗✓328.0132.76
FusePose [^35]✗✓324.9129.38
VIFNet✗✓322.1526.24
VIFNet-S✗✓318.2622.67
TransPose [^59]✗✓230.4734.52
FusePose [^35]✗✓227.3831.12
VIFNet✗✓225.5928.75
VIFNet-S✗✓220.7223.79
双模态之间的互补性。为了验证VIH和HPE的应用潜力，我们提出了VIFNet——一种视觉-惯性融合网络，该网络通过高效的多模态交互策略实现高精度且鲁棒的3D HPE。此外，为了验证VIH在多模态蒸馏中的潜力，我们引入了VIFNet-S——一种多模态知识蒸馏方法，它将视觉-惯性融合特征传递给仅依赖IMU的学生网络，即便在IMU数据稀疏的情况下也能显著提升其精度。大量实验证明了VIH在多模态融合和多模态蒸馏方面的优势。 ## 致谢 本研究得到了国家自然科学基金（项目编号：62332019、62406039）、国家重点研发计划（项目编号：2023YFF1203900、2023YFF1203903）、中国博士后科学基金（项目编号：2023TQ0039、2024M750257、GZC20230320）以及北京新星计划（项目编号：）的支持。 --- ## 参考文献 [^1]: Tommaso Lisini Baldi, Stefano Scheggi, Leonardo Meli, Mostafa Mohammadi and Domenico Prattichizzo. 2017. GESTO: A glove for enhanced sensing and touching based on inertial and magnetic sensors for hand tracking and cutaneous feedback. IEEE Transactions on Human-Machine Systems 47, 6 (2017), 1066–1076. [^2]: Adnane Boukhayma, Rodrigo de Bem, and Philip HS Torr. 2019. 3d hand shape and pose from images in the wild. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 10843–10852. [^3]: Samarth Brahmbhatt, Chengcheng Tang, Christopher D Twigg, Charles C Kemp, and James Hays. 2020. ContactPose: A dataset of grasps with object contact and hand pose. In Computer Vision–ECCV 2020: 16th European Conference, Glasgow, UK, August 23–28, 2020, Proceedings, Part XIII 16. Springer, 361–378. [^4]: Hsien-Ting Chang and Jen-Yuan Chang. 2019. Sensor glove based on novel inertial sensor fusion control algorithm for 3-D real-time hand gestures measurements. IEEE Transactions on Industrial Electronics 67, 1 (2019), 658–666. [^5]: Yu-Wei Chao, Wei Yang, Yu Xiang, Pavlo Molchanov, Ankur Handa, Jonathan Tremblay, Yashraj S Narang, Karl Van Wyk, Umar Iqbal, Stan Birchfield, et al. 2021. DexYCB: A benchmark for capturing hand grasping of objects. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 9044–9053. [^6]: Xingyu Chen, Yufeng Liu, Yajiao Dong, Xiong Zhang, Chongyang Ma, Yanmin Xiong, Yuan Zhang, and Xiaoyan Guo. 2022. Mobrecon: Mobile-friendly hand mesh reconstruction from monocular image. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 20544–20554. [^7]: Xingyu Chen, Yufeng Liu, Chongyang Ma, Jianlong Chang, Huayan Wang, Tian Chen, Xiaoyan Guo, Pengfei Wan, and Wen Zheng. 2021. Camera-space hand mesh recovery via semantic aggregation and adaptive 2d-1d registration. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 13274–13283. [^8]: Hongsuk Choi, Gyeongsik Moon, and Kyoung Mu Lee. 2020. Pose2mesh: Graph convolutional network for 3d human pose and mesh recovery from a 2d human pose. In Computer Vision–ECCV 2020: 16th European Conference, Glasgow, UK, August 23–28, 2020, Proceedings, Part VII 16. Springer, 769–787. [^9]: Agastasya Dahiya, Dhruv Wadhwa, Rohan Katti, and Luigi G Occhipinti. 2024. Efficient Hand Gesture Recognition using Artificial Intelligence and IMU based Wearable Device. IEEE Sensors Letters (2024). [^10]: Bin Fang, Fuchun Sun, Huaping Liu, and Di Guo. 2017. Development of a wearable device for motion capturing based on magnetic and inertial measurement units. Scientific Programming 2017, 1 (2017), 7594763. [^11]: Kun Gao, Xiaolong Liu, Pengfei Ren, Haoyu Chen, Tao Zhen, Liang Xie, Zhongkui Li, Ye Yan, Haoyang Zhang, and Erwei Yin. 2024. Progressively global-local fusion with explicit guidance for accurate and robust 3d hand pose reconstruction. Knowledge-Based Systems 304 (2024), 112532. [^12]: Kun Gao, Haoyang Zhang, Xiaolong Liu, Xinyi Wang, Liang Xie, Bowen Ji, Ye Yan, and Erwei Yin. 2024. Challenges and solutions for vision-based hand gesture interpretation: A review. Computer vision and image understanding Nov. (2024), 248. [^13]: Guillermo Garcia-Hernando, Shanxin Yuan, Seungryul Baek, and Tae-Kyun Kim. 2018. First-person hand action benchmark with rgb-d videos and 3d hand pose annotations. In Proceedings of the IEEE conference on computer vision and pattern recognition. 409–419. [^14]: Liuhao Ge, Hui Liang, Junsong Yuan, and Daniel Thalmann. 2016. Robust 3d hand pose estimation in single depth images: from single-view cnn to multi-view cnns. In Proceedings of the IEEE conference on computer vision and pattern recognition. 3593–3601. [^15]: Liuhao Ge, Hui Liang, Junsong Yuan, and Daniel Thalmann. 2017. 3d convolutional neural networks for efficient and robust hand pose estimation from single depth images. In Proceedings of the IEEE conference on computer vision and pattern recognition. 1991–2000. [^16]: Liuhao Ge, Zhou Ren, Yuncheng Li, Zehao Xue, Yingying Wang, Jianfei Cai, and Junsong Yuan. 2019. 3d hand shape and pose estimation from a single rgb image. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 10833–10842. [^17]: Hyowon Ha, Michal Perdoch, Hatem Alismail, In So Kweon, and Yaser Sheikh. 2017. Deltile Grids for Geometric Camera Calibration. In 2017 IEEE International Conference on Computer Vision (ICCV). [^18]: Shreyas Hampali, Mahdi Rad, Markus Oberweger, and Vincent Lepetit. 2020. Honnotate: A method for 3d annotation of hand and object poses. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 3196–3206. [^19]: Bingcheng Hu, Tian Ding, Yuxin Peng, Li Liu, and Xu Wen. 2020. Flexible and attachable inertial measurement unit (IMU)-based motion capture instrumentation for the characterization of hand kinematics: A pilot study. Instrumentation Science & Technology 49, 2 (2020), 125–145. [^20]: Umar Iqbal, Pavlo Molchanov, Thomas Breuel Juergen Gall, and Jan Kautz. 2018. Hand pose estimation via latent 2.5 d heatmap regression. In Proceedings of the European conference on computer vision (ECCV). 118–134. [^21]: Shuo Jiang, Bo Lv, Weichao Guo, Chao Zhang, Haitao Wang, Xinjun Sheng, and Peter B Shull. 2017. Feasibility of wrist-worn, real-time hand, and surface 基于sEMG和IMU传感的手势识别。《IEEE工业信息学汇刊》第14卷第8期（2017年），第3376–3385页。 [^22]: Henk G Kortier, Jacob Antonsson, H. Martin Schepers, Fredrik Gustafsson, and Peter H Veltink. 2015. Hand Pose Estimation by Fusion of Inertial and Magnetic Sensing Aided by a Permanent Magnet. IEEE Transactions on Neural Systems and Rehabilitation Engineering 23, 5 (2015), 796–806. [^23]: Taein Kwon, Bugra Tekin, Jan Stühmer, Federica Bogo, and Marc Pollefeys. 2021. H2o: Two hands manipulating objects for first person interaction recognition. In Proceedings of the IEEE/CVF international conference on computer vision. 10138–10148. [^24]: Yongseok Lee, Wonkyung Do, Hanbyeol Yoon, Jinuk Heo, WonHa Lee, and Dongjun Lee. 2021. Visual-inertial hand motion tracking with robustness against occlusion, interference, and contact. Science Robotics 6, 58 (2021), eabe1315. [^25]: Yongjun Lee, Myungsin Kim, Yongseok Lee, Junghan Kwon, Yong-Lae Park, and Dongjun Lee. 2018. Wearable finger tracking and cutaneous haptic interface with soft sensors for multi-fingered virtual manipulation. IEEE/Asme Transactions on Mechatronics 24, 1 (2018), 67–77. [^26]: Moran Li, Yuan Gao, and Nong Sang. 2021. Exploiting learnable joint groups for hand pose estimation. In Proceedings of the AAAI conference on artificial intelligence, Vol. 35. 1921–1929. [^27]: Bor-Shing Lin, I-Jung Lee, Shu-Yu Yang, Yi-Chiang Lo, Junghsi Lee, and Jean-Lon Chen. 2018. Design of an inertial-sensor-based data glove for hand function evaluation. Sensors 18, 5 (2018), 1545. [^28]: Kevin Lin, Lijuan Wang, and Zicheng Liu. 2021. End-to-end human pose and mesh reconstruction with transformers. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 1954–1963. [^29]: Kevin Lin, Lijuan Wang, and Zicheng Liu. 2021. Mesh graphormer. In Proceedings of the IEEE/CVF international conference on computer vision. 12939–12948. [^30]: Francesca Mongelli and Matteo Menolotto. 2023. HANDMI4 (HAND Motion capture data for Industry 4.0). doi:10.21227/c6t8-ge47 [^31]: Gyeongsik Moon, Shunsuke Saito, Weipeng Xu, Rohan Joshi, Julia Buffalo, Harley Bellan, Nicholas Rosen, Jesse Richardson, Mallorie Mize, Philippe De Bree, et al. 2023. A dataset of relighted 3D interacting hands. Advances in Neural Information Processing Systems 36 (2023), 17689–17701. [^32]: Gyeongsik Moon, Shoou-I Yu, He Wen, Takaaki Shiratori, and Kyoung Mu Lee. 2020. Interhand2. 6m: A dataset and baseline for 3d interacting hand pose estimation from a single rgb image. In Computer Vision–ECCV 2020: 16th European Conference, Glasgow, UK, August 23–28, 2020, Proceedings, Part XX 16. Springer, 548–564. [^33]: Franziska Mueller, Florian Bernard, Oleksandr Sotnychenko, Dushyant Mehta, Srinath Sridhar, Dan Casas, and Christian Theobalt. 2018. Generated hands for real-time 3d hand tracking from monocular rgb. In Proceedings of the IEEE conference on computer vision and pattern recognition. 49–59. [^34]: Franziska Mueller, Dushyant Mehta, Oleksandr Sotnychenko, Srinath Sridhar, Dan Casas, and Christian Theobalt. 2017. Real-time hand tracking under occlusion from an egocentric rgb-d sensor. In Proceedings of the IEEE international conference on computer vision. 1154–1163. [^35]: Shaohua Pan, Qi Ma, Xinyu Yi, Weifeng Hu, Xiong Wang, Xingkang Zhou, Jijunnan Li, and Feng Xu. 2023. Fusing monocular images and sparse imu signals for real-time human motion capture. In SIGGRAPH Asia 2023 Conference Papers. 1–11. [^36]: Georgios Pavlakos, Dandan Shan, Ilija Radosavovic, Angjoo Kanazawa, David Fouhey, and Jitendra Malik. 2024. Reconstructing hands in 3d with transformers. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 9826–9836. [^37]: Rolandos Alexandros Potamias, Jinglei Zhang, Jiankang Deng, and Stefanos Zafeiriou. 2024. Wilor: End-to-end 3d hand localization and reconstruction in-the-wild. arXiv preprint arXiv:2409.12259 (2024). [^38]: Adnan Rashid and Osman Hasan. 2019. Wearable technologies for hand joints monitoring for rehabilitation: A survey. Microelectronics Journal 88 (2019), 173–183. [^39]: Pengfei Ren, Haifeng Sun, Jiachang Hao, Qi Qi, Jingyu Wang, and Jianxin Liao. 2022. A dual-branch self-boosting framework for self-supervised 3D hand pose estimation. IEEE Transactions on Image Processing 31 (2022), 5052–5066. [^40]: Pengfei Ren, Haifeng Sun, Jiachang Hao, Jingyu Wang, Qi Qi, and Jianxin Liao. 2022. Mining multi-view information: a strong self-supervised framework for depth-based 3d hand pose and mesh estimation. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 20555–20565. [^41]: Javier Romero, Hedvig Kjellström, and Danica Kragic. 2009. Monocular real-time 3D articulated hand pose estimation. In 2009 9th IEEE-RAS International Conference on Humanoid Robots. IEEE, 87–92. [^42]: Javier Romero, Dimitrios Tzionas, and Michael J. Black. 2017. Embodied Hands: Modeling and Capturing Hands and Bodies Together. ACM Transactions on Graphics, (Proc. SIGGRAPH Asia) 36, 6 (Nov. 2017). ## [^43]: Sheng Shen, He Wang, and Romit Roy Choudhury. 2016. I am a smartwatch and I can track my user's arm. In Proceedings of the 14th annual international conference on Mobile systems, applications, and services. 85–96 --- [^44]: Adrian Spurr, Jie Song, Seonwook Park, and Otmar Hilliges. 2018. Cross-modal deep variational hand pose estimation. In Proceedings of the IEEE conference on computer vision and pattern recognition. 89–98. [^45]: Srinath Sridhar, Antti Oulasvirta, and Christian Theobalt. 2013. Interactive markerless articulated hand motion tracking using RGB and depth data. In Proceedings of the IEEE international conference on computer vision. 2456–2463. [^46]: Paul Streli, Rayan Armani, Yi Fei Cheng, and Christian Holz. 2023. HOOV: Hand out-of-view tracking for proprioceptive interaction using inertial sensing. In Proceedings of the 2023 CHI Conference on Human Factors in Computing Systems. 1–16. [^47]: Mingkui Tan, Zhuangwei Zhuang, Sitao Chen, Rong Li, Kui Jia, Qicheng Wang, and Yuanqing Li. 2024. EPMF: Efficient perception-aware multi-sensor fusion for 3D semantic segmentation. IEEE Transactions on Pattern Analysis and Machine Intelligence (2024). [^48]: Danhang Tang, Hyung Jin Chang, Alykhan Tejani, and Tae-Kyun Kim. 2014. Latent regression forest: Structured estimation of 3d articulated hand posture. In Proceedings of the IEEE conference on computer vision and pattern recognition. 3786–3793. [^49]: Jonathan Tompson, Murphy Stein, Yann Lecun, and Ken Perlin. 2014. Real-time continuous pose recovery of human hands using convolutional networks. ACM Transactions on Graphics (ToG) 33, 5 (2014), 1–10. [^50]: Jiayi Wang, Franziska Mueller, Florian Bernard, Suzanne Sorli, Oleksandr Sotny-chenko, Neng Qian, Miguel A Otaduy, Dan Casas, and Christian Theobalt. 2020. Rgb2hands: real-time tracking of 3d hand interactions from monocular rgb video. ACM Transactions on Graphics (ToG) 39, 6 (2020), 1–16. [^51]: Wenchuan Wei, Keiko Kurita, Jilong Kuang, and Alex Gao. 2021. Real-time 3D arm motion tracking using the 6-axis IMU sensor of a smartwatch. In 2021 IEEE 17th International Conference on Wearable and Implantable Body Sensor Networks (BSN). IEEE, 1–4. [^52]: Zhenyu Wu, Duc Hoang, Shihyao Lin, Yusheng Xie, Liangjian Chen, Yenyu Lin, Zhangyang Wang, and Wei Fan. 2020. MM-Hand: 3D-Aware Multi-Modal Guided Hand Generation for 3D Hand Pose Synthesis. (2020). [^53]: Linlin Yang, Shicheng Chen, and Angela Yao. 2021. Semihand: Semi-supervised hand pose estimation with consistency. In Proceedings of the IEEE/CVF international conference on computer vision. 11364–11373. [^54]: Lixin Yang, Kailin Li, Xinyu Zhan, Fei Wu, Anran Xu, Liu Liu, and Cewu Lu. 2022. Oakink: A large-scale knowledge repository for understanding hand-object 交互。载于IEEE/CVF计算机视觉与模式识别会议论文集，第20953–20962页。 [^55]: Linlin Yang, Shile Li, Dongheui Lee, and Angela Yao. 2019. Aligning latent spaces for 3d hand pose estimation. In Proceedings of the IEEE/CVF international conference on computer vision. 2335–2343. [^56]: Linlin Yang and Angela Yao. 2019. Disentangling latent hands for image synthesis and pose estimation. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 9877–9886. [^57]: Zhicheng Yang, Bert Jan F. Van Beijnum, Bin Li, Shenggang Yan, and Peter H. Veltink. 2020. Estimation of Relative Hand-Finger Orientation Using a Small IMU Configuration. Sensors 20, 14 (2020), 4008. [^58]: Yuan Yao and Yun Fu. 2012. Real-time hand pose estimation from RGB-D sensor. In 2012 IEEE International Conference on Multimedia and Expo. IEEE, 705–710. [^59]: Xinyu Yi, Yuxiao Zhou, and Feng Xu. 2021. Transpose: Real-time 3d human translation and pose estimation with six inertial sensors. ACM Transactions On Graphics (TOG) 40, 4 (2021), 1–13. [^60]: Dian Zhang, Zexiong Liao, Wen Xie, Xiaofeng Wu, Haoran Xie, Jiang Xiao, and Landu Jiang. 2021. Fine-grained and real-time gesture recognition by using IMU sensors. IEEE Transactions on Mobile Computing (2021). [^61]: Jiawei Zhang, Jianbo Jiao, Mingliang Chen, Liangqiong Qu, Xiaobin Xu, and Qingxiong Yang. 2016. 3d hand pose tracking and estimation using stereo matching. arXiv preprint arXiv:1610.07214 (2016). [^62]: Yu Zhang, Songpengcheng Xia, Lei Chu, Jiarui Yang, Qi Wu, and Ling Pei. 2024. Dynamic inertial poser (dynaip): Part-based motion dynamics learning for enhanced human pose estimation with sparse inertial sensors. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 1889–1899. [^63]: Han Zhou, Yi Gao, Xinyi Song, Wenxin Liu, and Wei Dong. 2019. Limbmotion: Decimeter-level limb tracking for wearable-based human-computer interaction. Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies 3, 4 (2019), 1–24. [^64]: Christian Zimmermann and Thomas Brox. 2017. Learning to estimate 3d hand pose from single rgb images. In Proceedings of the IEEE international conference on computer vision. 4903–4911. [^65]: Christian Zimmermann, Duygu Ceylan, Jimei Yang, Bryan Russell, Max Argus, and Thomas Brox. 2019. Freihand: A dataset for markerless capture of hand pose and shape from single rgb images. In Proceedings of the IEEE/CVF international conference on computer vision. 813–822.