# AVI-HT：用于三维手部追踪的自适应视觉-惯性测量单元融合技术
Ziyi Kou Ankit Kumar Mia Huang Taylor Niehues
Vatsal Mehta Ergys Ristani Li Guan
Meta Reality Labs
## 摘要
我们提出了AVI-HT，这是一种自适应视觉-惯性测量单元（IMU）融合方法，通过联合建模以手为中心的图像与手套上的6自由度IMU信号来追踪三维手部姿态。AVI-HT在精度与可用性方面均有显著提升，尤其是在存在严重视觉遮挡的手部-物体交互（HOI）场景中。其成功依赖于两个互补要素：（1）将佩戴在身上的视觉-IMU传感器流与运动捕捉系统提供的真实三维手部姿态进行同步配对的多模态训练数据；（2）一种跨传感器深度注意力机制，能够自适应调节对视觉信号及各个IMU传感器的信任度。为了在实际场景中评估AVI-HT的性能，我们在DexGloveHOI数据集上开展了大量实验，该数据集包含10万组以上的成对视觉-IMU样本以及同步标注的三维姿态数据，涵盖用户在日常任务中操作各类物体的场景。我们在两种手部模型（UmeTrack、MANO）下，将AVI-HT与多种单模态及多模态追踪方法进行了对比。结果显示，相较于基准方法，AVI-HT可将关键点平均误差降低16.1%，其手腕对齐变体的误差更是降低了24.2%。消融研究进一步揭示了不同活动类型下各手指对IMU传感器的贡献，以及模型对IMU噪声和视觉-IMU融合中的时间错位现象的敏感度。
## 1 引言
请观察图1第一行中的以手为中心的图像：人的手部正灵巧地操纵桌上的各种物体，这类场景在增强现实/虚拟现实[^38] [^25]及机器人遥操作[^31] [^1]应用中十分常见。随着握持力度加大，手指会逐渐被遮挡。这些交互过程涉及丰富的接触且发生在三维空间中，但抓取动作本身会将手部从摄像头视野中隐藏起来。因此，在遮挡情况下仅依靠以手为中心的视觉信息来准确估计手部姿态变得极其困难，因为能解释可见证据的符合运动学规律的姿态组合数量可能多到难以处理[^42]。为克服此类局限，我们提出了一种基于传感手套的框架，它能够利用视觉与手套上的IMU输入来精准感知三维手部姿态，尤其适用于手部被所操纵物体严重遮挡的场景。
计算机视觉与机器人领域的最新进展表明，借助多模态融合模型整合视觉与传感器输入，能够取得重要突破。在计算机视觉领域，ImageBind[^8]、MultiMAE[^2]等成果便体现了这一趋势。在可穿戴传感与人体动作捕捉领域，[^29]和[^4]等系统也印证了这一点。在三维手部姿态追踪领域，以往的研究大多依赖单一模态：要么是RGB图像[^30] [^33]，要么是惯性传感器[^34]。当应用于复杂的手部-物体交互（HOI）场景时，这些方法均存在根本性局限。
---
Figure 1: 3D hand tracking from egocentric vision and on-glove IMUs. (Left) Our multi-modal data capture setup that consists of an egocentric camera and a data sensing glove with 12 6-DoF IMU sensors. (Right) Qualitative comparison on 4 egocentric frames. For each frame, the top row shows an inset hand diagram. The bottom row shows the corresponding 3D hand pose tracking overlaid for UMETrack and AVI-HT against ground truth. The tracking results by AVI-HT are closely aligned with the ground truth, while the vision-only baseline deviates substantially. The top yellow patches highlight the activated IMU sensors by the adaptive attention module of AVI-HT, indicating the regions with greater reliance on IMU signals over egocentric vision. Best viewed in color.
例如，由于视觉信号的严重遮挡导致手部重建不准确[^26]，9自由度IMU产生的磁干扰[^24]，或是6自由度IMU无法提供绝对方向信息[^34]。
在本文中，我们借鉴多模态融合的理念，将其应用于3D手部姿态跟踪问题。我们的出发点是：视觉信号与6自由度惯性测量单元（6-DoF IMU）能够自然互补——视觉信息可以提供手腕处的绝对位置和全局朝向，但在手指被遮挡时跟踪效果会变差；而6-DoF IMU能够捕捉高频的局部关节动态，不受视觉遮挡影响，但缺乏全局空间参考。因此，将两者融合就能弥补单一模态的不足。基于上述思路，我们提出了AVI-HT——一种用于从以手为中心的关节图像和手套上的6-DoF IMU信号中提取3D手部姿态的自适应视觉-IMU融合方法。AVI-HT能够在多种灵巧交互场景中准确还原3D手部姿态，尤其是在遮挡严重的HOI场景中表现尤为出色。如图1第二行所示，仅依赖视觉的方法UMETrack [^11]在严重遮挡条件下得到的手部姿态估计结果与真实值偏差较大，而我们的视觉-IMU融合方法则能得出更接近真实值的姿态。
AVI-HT之所以能取得成功，得益于两项互补的创新。首先，在训练数据方面，我们整合了以手为中心的摄像头和数据传感手套，搭建了一套同步多模态采集系统，并采用动作捕捉（MoCap）系统来收集3D真实姿态数据。由此得到的数据集包含了配对的以手为中心的视频、各手指的IMU测量数据以及精确的3D标注信息。其次，在模型设计上，我们采用了基于深度跨传感器注意力的架构，能够自适应地融合视觉特征与手套上的IMU信号。如图1所示，手套的每个手指上都安装了2到3个IMU传感器。当以手为中心的图像中显示某手指关节被遮挡时，AVI-HT会自动更多地依赖该位置的IMU信号（其注意力得分阈值对应图中的黄色区域），以此弥补视觉信息的缺失。相反，即使在复杂的物体操作过程中，手腕部分仍能被以手为中心的摄像头清晰捕捉，从而提供稳定的手腕旋转和平移估计，为整个手部的3D定位提供基准。这两大创新要素相结合，使得AVI-HT的性能相比仅使用视觉或仅使用IMU的方法有显著提升。
在真实条件下评估多模态手部跟踪方法仍然颇具挑战：现有数据集大多是在受控、遮挡较少的环境中采集的，且很少包含惯性传感器数据 [^43] [^3]。为了能在最重要的灵巧操作场景下开展严谨评估，我们收集了DexGloveHOI数据集——这是一份面向多受试者的手部-物体交互（HOI）评估数据集。该数据集包含了以手为中心的视频、时间同步的手套上IMU信号，以及涵盖多种活动场景的基于标记点的3D真实手部姿态数据。利用DexGlove
---
在HOI场景中，我们使用两种手部表示方式——UMETrack [^12]和MANO [^32]来评估AVI-HT，并开展了大量实验，将AVI-HT与单模态及多模态方法进行比较。结果表明，IMU信号能够提供互补的信息，从而带来更稳定、更精准的手部跟踪性能，尤其在遮挡严重的区域效果提升最为明显。
总而言之，我们提出了AVI-HT——一种基于自拍图像和手套上IMU信号的三维手部追踪方法。我们验证了跨传感器注意力机制在处理遮挡问题上的关键作用，并通过将AVI-HT与其他多种追踪方案在DexGloveHOI数据集上进行比较，取得了业界领先的结果。除了提升精度外，我们还开展了大量的消融实验和敏感性分析，以揭示视觉信号与IMU信号之间的相互作用：我们研究了部分IMU传感器失效对手指级追踪的影响，并探讨了视觉流与惯性流之间时间错位对系统鲁棒性的影响。我们认为这些发现对于在现实世界的AR/VR及机器人遥操作系统中部署多模态手部追踪技术具有重要的实用价值。
## 2 相关工作
三维手部姿态追踪。近年来，从单张RGB图像中估计三维手部姿态和形状的技术取得了显著进展[^20] [^9]。早期的方法通常依赖卷积神经网络来回归参数化手部模型的参数[^5]，或直接估计三维关节位置[^33]。最近，基于Transformer的架构已成为主流范式。诸如METRO[^21]和MeshGraphormer[^22]之类的方法利用自注意力机制来联合建模顶点间以及顶点与关节间的交互，从而实现端到端的手部网格重建。在此基础上，HaMeR[^30]证明，扩大训练数据规模并增强视觉Transformer的能力能够显著提升自然场景下手部重建的效果。然而，尽管这些基于视觉的方法通过大规模数据提升了泛化能力，但在复杂的手部与物体交互场景中常见的严重遮挡情况下，其性能会大幅下降[^19]。另一方面，可穿戴式惯性测量单元（IMU）传感器提供了一种不受遮挡影响的技术方案。现有的基于IMU的手部追踪系统通常依赖密集排列的9轴传感器阵列[^27]。不过，9轴IMU中的磁力计在室内环境中极易受到电磁干扰[^15]。虽然更紧凑的6轴IMU避免了与磁力计相关的失真问题，但它们缺乏绝对方向参考，且存在陀螺仪漂移累积的问题[^34]。在本文中，我们提出了AVI-HT——一种自适应视觉-IMU融合框架，它既克服了纯视觉方法的遮挡局限，又能利用稀疏、低成本的6轴IMU来实现高精度的全局手部姿态重建。
视觉传感器融合在姿态估计中的应用。将视觉数据与惯性传感器信号相融合，已被证明能有效解决人体姿态中的歧义问题。在全身追踪方面，DIP-IMU [^14]和TransPose [^37]等方法成功利用了稀疏的IMU配置；后续研究则进一步将这些惯性先验与多视角或第一人称相机相结合，实现了无漂移、抗遮挡的身体追踪 [^41] [^18]。尽管已取得上述成果，视觉传感器融合在精细的3D手部追踪领域仍属于相对未被充分探索的领域。这一空白主要源于缺乏适用于自然操作且配备稳健、不显眼的IMU的数据手套，同时也缺少能在复杂物体交互过程中同步提供第一人称视觉、密集IMU信号以及真实3D手部姿态的高质量多模态数据集 [^40]。在本文中，我们借助配备各手指IMU传感器的数据手套，以及用于多模态评估的DexGloveHOI数据集来填补这一空白。我们展示了所提出的跨传感器注意力机制如何自适应地融合第一人称视觉特征与手套上的IMU信号，从而在严重遮挡条件下实现业界领先的手部追踪效果。
## 3 技术路线
我们在此介绍AVI-HT——一种基于第一人称图像和手套上IMU信号的三维手部追踪方法。图2展示了AVI-HT的整体架构，下文将对各个组件进行详细说明。
### 3.1 手部模型表示
为了覆盖离线三维重建和实时AR/VR追踪两种场景，我们使用两种手部表示方法对AVI-HT进行评估。MANO [^32]是一种广泛应用于离线手部网格恢复的参数化模型 [^30] [^21] [^22]。它定义了一个可微函数 $\mathcal{M}(\theta, \beta)$，该函数可将姿态 $\theta \in \mathbb{R}^{48}$ 和
---
Figure 2: Overview of AVI-HT. A Vision Encoder converts the egocentric image into a global visual token $F_{vis}$. An IMU Encoder embeds a 14 timestamp temporal window from 12 on-glove sensors into per-sensor tokens $\{s_k\}$ via a transformer encoder and signal head. The two token sets are fused through a hierarchical cross-sensor attention module. A kinematic prior mask aggregates attended features based on physical sensor-joint proximity while the attention scores averaged for each IMU sensor represent its adaptive importance. The fused representation is decoded by a regression head into either MANO or UMETrack parameters for hand tracking.
形状 $\beta \in \mathbb{R}^{10}$ 映射为网格 $M \in \mathbb{R}^{778 \times 3}$ 以及21个关节位置。UMETrack [^12]是一种专为AR/VR环境下的实时第一人称手部追踪设计的关节模型 [^11] [^28]。它通过22个标量关节角度 $\phi \in \mathbb{R}^{22}$（即每个关节的屈伸与外展/内收角度）来表示姿态，并通过正向运动学结合线性混合蒙皮技术来恢复21个标志点位置 [^17]。
### 3.2 输入信号
第一人称图像。我们采用搭载单色第一人称相机的Meta Quest头戴设备。该相机以60 Hz的频率采集分辨率为512x640的原始第一人称图像。
手套上的IMU信号。我们使用一款覆盖整只手的数据传感手套，其上配备了12个6自由度IMU传感器。每个传感器包含三轴加速度计和三轴陀螺仪。这些传感器分布在手套背面：四个手指的每个近节和远节指骨上各有一个传感器，拇指和手背也各有一个额外传感器。所有IMU传感器的采样频率均为200 Hz。由于视觉与IMU两种模态的工作频率不同，我们通过将每帧60 Hz的视频与最近的IMU时间戳对齐来实现同步。对于每一帧对齐后的图像，我们遵循Sarker等人的方法 [^34]，提取同步时间戳前连续的14个IMU样本构成的时间窗口。对于每个样本，我们根据6自由度数据计算出重力向量，再将其与三轴陀螺仪数据合并，从而为每个视觉样本生成 $14 \times 23 \times 3$ 数据窗口。
3D动作捕捉系统。我们采用基于标记的动捕系统来采集3D手部姿态作为基准数据。首先，将标记位置解算为UMETrack手部姿态，随后利用Levenberg-Marquardt优化器将其转换为MANO格式 [^23]。关于该系统的更多描述详见附录A。
### 3.3 模型架构
AVI-HT是一种通用的视觉-惯性测量单元融合框架，可应用于不同的视觉骨干网络和手部表示方式。我们基于该框架构建了两个模型：用于实时AR/VR追踪的AVI-HT-UME和用于离线3D重建的AVI-HT-MANO。这两个模型共享相同的惯性测量单元编码器和交叉注意力融合设计，仅在视觉编码器和输出头部分存在差异。
惯性测量单元编码器。该编码器是基于Transformer的网络 [^35]，用于处理长度为$14 \times 23 \times 3$的惯性测量单元输入窗口数据。它首先将数据从3维线性映射到69维，接着对14个时间步应用正弦位置编码，随后通过两层Transformer编码器对每个惯性测量单元特征进行多头自注意力处理。最后选取最后一个时间步的输出，经两层多层感知机映射后生成惯性测量单元特征向量 $\mathbf{F}_{\text{imu}} \in \mathbb{R}^{23 \times d}$。
---
视觉编码器。AVI-H1-UME采用基于KesNet的编码器 [^15]，用于处理来自两个相似摄像头视角的90×90单色 Egocentric 图像。特征变换层（FTL） [^12] 会利用相机内参和外参生成的SE(3)变换，将2D特征图转换为与相机无关的三维表示。随后，卷积循环神经网络会聚合各帧之间的时序上下文信息。AVI-HT-MANO则采用在身体和手部姿态数据集上预训练的ViT-Huge [^7] 骨干网络 [^36]，将256×192大小的RGB图像裁剪块编码为一系列补丁令牌 $\mathbf{F}_{\text{vis}} \in \mathbb{R}^{N \times 1280}$。随后，带有6个交叉注意力层的Transformer解码器会从可学习的查询令牌出发，关注这些补丁令牌以回归出MANO参数。
分层跨传感器注意力机制。AVI-HT的核心是一个能在两个层次上融合视觉与惯性测量单元特征的交叉注意力模块。我们从视觉编码器中生成全局视觉令牌 $\mathbf{F}_{\text{vis}}^{*} \in \mathbb{R}^{d}$，同时汇总每个惯性测量单元传感器的重力和陀螺仪特征，从而得到一组$N_{s}=12$传感器令牌 $\{\mathbf{s}_{k}\}_{k=1}^{N_{s}}$。这两组令牌会被映射到共享的嵌入维度d，再拼接成统一的序列 $\mathbf{Z} = [\mathbf{F}_{\text{vis}}^{*}, \mathbf{s}_{1}, \ldots, \mathbf{s}_{N_{s}}] \in \mathbb{R}^{(1+N_{s}) \times d}$。由于人手是拓扑结构已知的运动链，并非所有传感器间的相互作用都具有同等的信息量：例如安装在无名指近节指骨上的惯性测量单元与远端指骨的相关性很高，但对拇指的直接信息贡献却很小。我们通过运动学先验掩码 $\mathbf{M} \in \mathbb{R}^{(1+N_{s}) \times (1+N_{s})}$ 来编码这种先验知识，其中 $M_{ij} = -\alpha$、$d_{\text{geo}}(i, j)$ 表示手骨骼图中令牌i和j之间的负测地距离，该距离通过两个传感器安装点之间的最短路径跳数来衡量。第一级注意力机制如下：
$$ Attention^{[1]}(\mathbf{Q},\mathbf{K},\mathbf{V})=softmax\left(\frac{\mathbf{Q}\mathbf{K}^{\top}}{\sqrt{d_{k}}}+\mathbf{M}\right)\mathbf{V}, $$
其中涉及 $\mathbf{Q} = \mathbf{Z}\mathbf{W}^Q$、$\mathbf{K} = \mathbf{Z}\mathbf{W}^K$、$\mathbf{V} = \mathbf{Z}\mathbf{W}^V$。当手部关节被遮挡时，其注意力权重会转移到空间上对应的IMU传感器上；这种融合方式具有适应性且能感知遮挡情况，同时基于运动学先验在解剖学层面具备合理性。为了评估每个IMU传感器的相对重要性，我们提取注意力矩阵的第一行，即 $\mathbf{a}_{\text{vis}} = \text{softmax}(\cdot)\{\mathbf{1}, \cdot\} \in \mathbb{R}^{N_s}$，它反映了在当前观测条件下视觉表征对各传感器的关注程度。不过，一级注意力机制存在一个潜在局限：单个视觉标记的数量少于 $N_s = 12$ 个IMU标记，这种不平衡可能导致softmax权重集中在数量更多的惯性模态上。为缓解这一问题，我们引入了作用于平衡标记对上的二级自注意力机制。具体而言，我们将第一级中的 $N_s$ 个传感器标记进行平均池化，生成一个聚合后的IMU标记 $\mathbf{s} \in \mathbb{R}^d$，进而形成紧凑的序列 $\mathbf{Z}' = [\tilde{\mathbf{F}}_{\text{vis}}^*, \mathbf{s}] \in \mathbb{R}^{2 \times d}$。随后，标准的自注意力层会重新校准视觉与惯性传感的相对贡献。最后，这两个生成的标记会被取均值池化，得到维度为d的全局手部表征，再将其输入相应的回归头。
输出与损失函数。对于AVI-HT-UME模型，回归头会解码出关节角度 $\phi \in \mathbb{R}^{22}$、手腕变换参数 $(\mathbf{R}, \mathbf{t}) \in SE(3)$ 以及各关节点的不确定性估计值 $\sigma_\ell$。3D关节点坐标通过可微分的运动学模型还原得出。主要损失函数为关节点负对数似然损失，它同时用于监督位置精度与不确定性校准，此外还辅以关节角度损失 [^12]。对于AVI-HT-MANO模型，回归头会将融合后的关节标记通过线性投影解码为MANO姿态 $\theta$、形状参数 $\beta$ 以及相机参数 $\pi$。训练过程中采用了3D损失、2D损失以及来自判别器的对抗性损失，该判别器分别针对手部形状、姿态及各关节旋转进行训练 [^30]。
## 4 评估数据集
推进多模态手部追踪技术面临的一个关键挑战是缺乏合适的评估数据。现有的3D手部姿态数据集 [^43] [^10] 主要以视觉数据为主，是在受控摄影棚环境中采集的 [^25]，且涵盖的手部姿态范围有限 [^39]。这些数据集既不包含惯性传感器数据，也无法反映现实AR/VR应用中常见的手部行为多样性，比如精细的工具操作。缺少这类数据，就很难判断将视觉信息与IMU信号融合是否真的能提升追踪效果，还是仅仅增加了系统复杂度。
为填补这一空白，我们收集了一个多模态评估数据集DexGloveHOI，该数据集将同步拍摄的 Egocentric 视频、手套上的密集IMU信号以及高精度的基于标记的动作捕捉真值数据相结合。DexGloveHOI的设计旨在实现两个目标：（1）覆盖AR/VR或机器人系统必须处理的各种灵巧手部使用场景；（2）提供评估视觉-IMU融合方法所需的多模态信号。
---
Figure 3: Overview of DexGloveHOI dataset. (Left) Sample egocentric images showing diverse activities captured with the data sensing glove. (Top right) Distribution of activity categories in DexGloveHOI. (Bottom right) Key statistics of dataset. Each frame is paired with synchronized on-glove IMU signals and ground truth from MoCap system in both MANO and UMETrack representations.
我们设计的采集协议涵盖了与AR/VR输入相关的各种手部行为，这些行为被归类为17种不同的灵巧操作任务，每个会话中会涉及多个互补类别。图3展示了完整的任务名称列表以及采样的第一人称视角图像。每项活动的任务说明都会预先录制为视频，且会话中的任务顺序也是提前确定的。在4名参与者参与的情况下，每个会话的有效采集时间约为45-55分钟。正式数据采集前，我们会先对动作捕捉标记点和惯性测量单元的方向进行校准。最终我们共收集了3.5小时经过质量管控的多模态数据。这些数据包含超过10万帧第一人称摄像头画面、240万个惯性测量单元采样点，以及720GB同步传感器记录。
## 5 实验
我们首先在两种手部表示下，将三维手部追踪精度与单模态及多模态基线模型进行对比（5.1）。随后我们分析了各个惯性测量单元传感器和活动类型的贡献差异（5.2），并研究了模型对惯性测量单元信号质量的敏感度（5.3）。
实现细节：我们在8块NVIDIA H100 GPU上，以48的批量大小对AVI-HT模型训练40个周期。我们采用Adam优化器，学习率为$7.89 \times 10^{-4}$，权重衰减为$10^{-6}$，动量为0.9，$\epsilon = 10^{-8}$；同时搭配阶梯式衰减的学习率调度器，在第30个周期时将学习率降低$10 \times$。数据增强方式包括快速运动增强、逐帧图像噪声注入（$\sigma = 10$）以及范围在0.5到1.7之间的伽马抖动处理。AVI-HT-UME模型的训练是从预训练的UMETrack检查点初始化的，而AVI-HT-MANO模型则基于HaMeR初始化。这两种模型的总训练时间分别约为24.5小时和42小时。
### 5.1 三维手部追踪精度
这两种手部表示采用的评估指标相关但不可互换。因此我们分别报告每种表示下的结果，以确保比较的公平性。
UMETrack手部模型：我们在DexGloveHOI数据集上对AVI-HT模型进行评估，对比的是三种采用UMETrack手部模型的基线模型：UMETrack [^12]（仅视觉）、UMETrack + EKF（通过事后扩展卡尔曼滤波器实现视觉-惯性测量单元融合）[^16]，以及IMU-Tracker（仅依赖6自由度惯性测量单元）[^34]。表1报告了平均关键点位置误差（MKPE）、仅指尖部分的MKPE（F.MKPE）及其以手部根部为基准的坐标系下的变换后数值（MKPE.T、F.MKPE.T），还有PUK AUC（P.A）及其变换后数值（P.A.T）。我们发现AVI-HT在所有评估指标上均优于其他基线模型。例如，AVI-HT的MKPE达到最低值10.359毫米，F.MKPE为13.253毫米，相比仅依赖视觉的UMETrack基线分别提升了16.1%和24.2%。AVI-HT的表现也优于UMETrack + EKF——该模型是将多模态融合作为后处理滤波步骤来应用的。
---
Table 1: 3D Hand Tracking Accuracy for UMETrack Pose
| Model | MKPE $\downarrow$ | FMKPE $\downarrow$ | MKPE.T $\downarrow$ | FMKPE.T $\downarrow$ | PA $\uparrow$ | P.A.T $\uparrow$ |
| UMETrack | 12.342 | 17.478 | 9.359 | 17.798 | 76.059 | 81.433 |
| UMETrack + EKF | 15.406 | 18.658 | 7.891 | 14.232 | 70.903 | 84.210 |
| IMU-Tracker | - | - | 7.151 | 12.923 | - | 85.769 |
| AVI-HT | 10.359 | 13.253 | 7.021 | 12.785 | 79.315 | 85.859 |
Table 2: 3D Hand Tracking Accuracy for MANO Pose
| PA-MPJPE $\downarrow$ | PA-MPVPE $\downarrow$ | F@5 $\uparrow$ | F@15 $\uparrow$ |
| HaMeR | 13.754 | 12.736 | 0.516 | 0.882 |
| AVI-HT | 10.519 | 9.265 | 0.628 | 0.936 |
这表明，学习得到的跨传感器注意力机制比人工设计的滤波器能实现更有效的信号融合。仅依赖惯性测量单元的追踪器也能取得颇具竞争力的指标，说明惯性测量单元信号中蕴含着丰富的指尖信息。不过由于采用的是6自由度惯性测量单元，它无法估算手腕的全局位置。这一局限性恰恰凸显了AVI-HT所利用的视觉-惯性测量单元数据的互补性。
图4上部展示了所有22个自由度上各关节绝对角度误差的细分情况。与UMETrack和UMETrack + EKF相比，AVI-HT始终能更有效地降低误差，其中在最容易产生视觉遮挡的MCP屈曲关节处改善最为显著。同样，图4下部显示了DexGloveHOI数据集中各关节角度误差的累积分布。AVI-HT在所有误差阈值下都能使更低误差范围内的样本占比更高，尤其在像$<5^\circ$这样的严格阈值下差距更为明显。这证实了AVI-HT能让更多样本进入低误差范围，而这对于实现高精度灵巧操作至关重要。
MANO手部模型。我们在DexGloveHOI数据集上，将AVI-HT与HaMeR [^30]——一种最先进的纯视觉手部网格恢复方法——进行对比评估。表2列出了Procrustes对齐后的平均关节位置误差（PA-MPJPE）、Procrustes对齐后的平均顶点位置误差（PA-MPVPE），以及5毫米和15毫米阈值下的F分数。AVI-HT将PA-MPJPE从13.754毫米降至10.519毫米（改善幅度达23.5%），将PA-MPVPE从12.736毫米降至9.265毫米（改善幅度达27.3%），同时F@5分数从0.516提升至0.628，F@15分数从0.882提升至0.936。这些结果证明，即便对于基于MANO表示的强大Transformer基线模型而言，自适应视觉-IMU融合技术也能带来显著提升。
定性结果。图5展示了DexGloveHOI中两个以自我为中心的手-物交互序列的定性对比结果。每一行都描述了手部操纵物体时手指遮挡程度不同的帧序列时间进展。我们比较了三种来源的3D手部姿态跟踪结果：动作捕捉系统提供的真实值、AVI-HT以及UMETrack。在这两行中我们观察到，当所有手指都能被自我中心摄像头捕捉到时，AVI-HT和UMETrack的表现相当。然而，在操纵过程中更多手指被遮挡时，AVI-HT仍能紧密跟踪真实值，而UMETrack则出现明显偏差，尤其是针对那些不可见的手指。这些结果证明，AVI-HT的跨传感器注意力机制能够自适应地利用IMU信号，在视觉信息因遮挡丢失时仍保持精准跟踪。更多可视化示例及带有注意力分数的手部跟踪视频详见附录B。
### 5.2 消融实验
我们通过逐一移除单个IMU传感器和活动类型，来分析多模态输入中哪些组件促成了AVI-HT的性能提升。图6展示了两张热图，其指标为MKPE.T Gap，即AVI-HT与UMETrack的差值，负值表示AVI-HT表现更优。左侧热图显示了各手指的IMU贡献：对于每组IMU传感器（行）和待评估的手指（列），我们记录了仅提供该组传感器时的MKPE.T Gap。当传感器所对应手指与评估手指一致时，对角线位置的数值始终显示出最大的改善幅度。结果证实，每个IMU传感器对其对应手指的跟踪贡献最大。非对角线位置的数值通常较小。不过，有几个
---
Figure 4: Breakdown evaluation for AVI-HT. (Top) Absolute angle error across all 22 degrees of freedom for UMETrack, UMETrack + EKF, and AVI-HT. AVI-HT reduces error on most joints, with the largest gains on MCP flexion joints. (Bottom) Cumulative distribution of joint angle errors over all DexGloveHOI samples. AVI-HT achieves a higher fraction of samples below each error threshold.
Figure 5: Qualitative tracking comparison. Two hand-object interaction sequences with finger occlusion moments. AVI-HT closely tracks the ground truth under heavy occlusion, while UMETrack deviates at unseen fingers from egocentric views.
非对角线单元格也显示出显著的负值，尤其是那些靠近对角线的单元格。我们将此归因于手部的运动学耦合特性：相邻手指共享肌腱且运动方式相关，因此无名指上的IMU能够捕捉到中指和小指的运动信息。这验证了我们所设计的跨传感器注意力模块：模型学会主要通过空间上对应的传感器来传递每个手指的信息，同时在有跨手指线索可用时也能加以利用。
右侧的热图展示了按活动类型划分的结果：对于每组IMU传感器（行）和每种活动类别（列），我们报告了采用相同AVI-HT–UMETrack指标时的MKPE.T改善情况。涉及严重遮挡和精细操作的活动（如切割、使用剪刀、螺丝刀）显示出最大的改善效果，这证实了在仅靠视觉难以识别的场景中，IMU融合能发挥最大效用。
---
Figure 6: Per-finger IMU contribution. (Left) MKPE.T Gap when only the corresponding IMU sensor group (row) is provided during training. (Right) MKPE.T Gap broken down by activity type.
Figure 7: Sensitivity to IMU signal quality. (Left) MKPE and MKPE.T under increasing additive Gaussian noise. (Right) MKPE and MKPE.T under temporal misalignment between vision and IMU.
### 5.3 敏感性研究
为了评估AVI-HT对质量较差的IMU信号的鲁棒性，我们进行了两项如图7所示的敏感性分析。首先，我们在IMU输入中注入高斯白噪声，其强度从原生噪声水平的×0逐步增加到×2，随后根据MKPE和MKPE.T指标对AVI-HT进行训练和评估。我们发现，当噪声水平达到2×时，MKPE从约10.335毫米上升至约12.344毫米，而MKPE.T则从约6.998毫米增至约9.469毫米，说明AVI-HT在中等程度的干扰下（如< ×0.5）仍能保持稳定性，但干扰较强时性能会显著下降。接着，我们将IMU窗口相对于视觉帧的时间偏移量人为设定为−0.4到+0.4秒，并测量AVI-HT-UME的MKPE和MKPE.T值。两条误差曲线均呈现以零偏移为中心的典型V形，这证明了不同模态间的时间对齐至关重要。观察发现，相较于噪声注入情况，此时性能相对稳定，表明适度的时间错位并不会破坏IMU窗口内的整体运动动态。
## 6 结论
我们提出了AVI-HT，这是一种用于3D手部追踪的自适应视觉-IMU融合方法，它通过跨传感器注意力机制将以自我为中心的视觉特征与手套上的IMU信号相融合。该设计可适用于各类视觉骨干网络和手部模型。在DexGloveHOI数据集上的实验结果表明，无论是在UMETrack还是MANO手部模型上，AVI-HT相较于各种基准方法均有稳定提升，且在严重遮挡情况下效果最为显著。消融实验揭示出：每个IMU传感器主要对其对应的手指产生积极作用，同时由于运动学耦合还会产生跨手指的传递效应；敏感性研究则证实了该方法对IMU噪声和时间错位具备一定的鲁棒性。
局限性：这种数据采集手套会改变手部的外观，当这类以自我为中心的图像被后续需要处理裸手输入的其他管道所使用时，可能会引入域差异。一种潜在的解决办法是采用手部虚拟形象技术[^6] [^40]，该技术能根据追踪到的姿态生成逼真的裸手图像，从而有效将手套从视觉流中移除。此外，由于我们的实验使用的是特定类型的数据采集手套，该方法在其他具有不同传感器布局、外形尺寸或IMU规格的手套上的泛化能力仍有待验证。我们希望本研究能推动关于不依赖手套的融合方法以及多模态手部追踪的跨设备泛化方面的进一步探索。
---
## 参考文献
[^1]: Sridhar Pandian Arunachalam, Sneha Silwal, Ben Evans, and Lerrel Pinto. Dexterous imitation made easy: A learning-based framework for efficient dexterous manipulation. In 2023 ieee international conference on robotics and automation (icra), pages 5954–5961. IEEE, 2023.
[^2]: Roman Bachmann, David Mizrahi, Andrei Atanov, and Amir Zamir. Multimae: Multi-modal multi-task masked autoencoders. In European conference on computer vision, pages 348–367. Springer, 2022.
[^3]: Prithviraj Banerjee, Sindi Shkodrani, Pierre Moulon, Shreyas Hampali, Shangchen Han, Fan Zhang, Linguang Zhang, Jade Fountain, Edward Miller, Selen Basol, et al. Hot3d: Hand and object tracking in 3d from egocentric multi-view videos. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 7061–7071, 2025.
[^4]: Yiming Bao, Xu Zhao, and Dahong Qian. Fusepose: Imu-vision sensor fusion in kinematic space for parametric human pose estimation. IEEE Transactions on Multimedia, 25:7736–7746, 2022.
[^5]: Adnane Boukhayma, Rodrigo de Bem, and Philip HS Torr. 3d hand shape and pose from images in the wild. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 10843–10852, 2019.
[^6]: Xingyu Chen, Baoyuan Wang, and Heung-Yeung Shum. Hand avatar: Free-pose hand animation and rendering from monocular video. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 8683–8693, 2023.
[^7]: Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner, Mostafa Dehghani, Matthias Minderer, Georg Heigold, Sylvain Gelly, et al. An image is worth 16x16 words: Transformers for image recognition at scale. arXiv preprint arXiv:2010.11929, 2020.
[^8]: Rohit Girdhar, Alaaeldin El-Nouby, Zhuang Liu, Mannat Singh, Kalyan Vasudev Alwala, Armand Joulin, and Ishan Misra. Imagebind: One embedding space to bind them all. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 15180–15190, 2023.
[^9]: Shaoxiang Guo, Eric Rigall, Yakun Ju, and Junyu Dong. 3d hand pose estimation from monocular rgb with feature interaction module. IEEE Transactions on Circuits and Systems for Video Technology, 32(8):5293–5306, 2022.
[^10]: Shreyas Hampali, Mahdi Rad, Markus Oberweger, and Vincent Lepetit. Honnotate: A method for 3d annotation of hand and object poses. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 3196–3206, 2020.
[^11]: Shangchen Han, Beibei Liu, Randi Cabezas, Christopher D Twigg, Peizhao Zhang, Jeff Petkau, Tsz-Ho Yu, Chun-Jung Tai, Muzaffer Akbay, Zheng Wang, et al. Megatrack: monochrome egocentric articulated hand-tracking for virtual reality. ACM Transactions on Graphics (ToG), 39(4):87–1, 2020.
[^12]: Shangchen Han, Po-chen Wu, Yubo Zhang, Beibei Liu, Linguang Zhang, Zheng Wang, Weiguang Si, Peizhao Zhang, Yujun Cai, Tomas Hodan, et al. Umetrack: Unified multi-view end-to-end hand tracking for vr. In SIGGRAPH Asia 2022 conference papers, pages 1–9, 2022.
[^13]: Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deep residual learning for image recognition. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 770–778, 2016.
## [^14]: Yinghao Huang, Manuel Kaufmann, Emre Aksan, Michael J Black, Otmar Hilliges, and Gerard Pons-Moll. Deep inertial poser: Learning to reconstruct human pose from sparse inertial measurements in real time. ACM Transactions on Graphics (TOG), 37(6):1–15, 2018
---
[^15]: Daniel Laidig and Thomas Seel. Vqf: Highly accurate imu orientation estimation with bias estimation and magnetic disturbance rejection. Information Fusion, 91:187–204, 2023.
[^16]: Yu Lei, Yi Deng, Lin Dong, Xiaohui Li, Xiangnan Li, and Zhi Su. A novel sensor fusion approach for precise hand tracking in virtual reality-based human—computer interaction. Biomimetics, 8(3):326, 2023.
[^17]: John P Lewis, Matt Cordner, and Nickson Fong. Pose space deformation: a unified approach to shape interpolation and skeleton-driven deformation. In Seminal Graphics Papers: Pushing the Boundaries, Volume 2, pages 811–818. 2023.
[^18]: Jiaman Li, Karen Liu, and Jiajun Wu. Ego-body pose estimation via ego-head pose estimation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 17142–17151, 2023.
[^19]: Jiawen Li, Fei Jiang, Dandan Zhu, and Aimin Zhou. Handnet: Occlusion-robust 3d hand mesh reconstruction with prior information. Available at SSRN 5244153, 2025.
[^20]: Fanqing Lin, Connor Wilhelm, and Tony Martinez. Two-hand global 3d pose estimation using monocular rgb. In Proceedings of the IEEE/CVF winter conference on applications of computer vision, pages 2373–2381, 2021.
[^21]: Kevin Lin, Lijuan Wang, and Zicheng Liu. End-to-end human pose and mesh reconstruction with transformers. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 1954–1963, 2021.
[^22]: Kevin Lin, Lijuan Wang, and Zicheng Liu. Mesh graphormer. In Proceedings of the IEEE/CVF international conference on computer vision, pages 12939–12948, 2021.
[^23]: Manolis LA Lourakis and Antonis A Argyros. Is levenberg-marquardt the most efficient optimization algorithm for implementing bundle adjustment? In Tenth IEEE International Conference on Computer Vision (ICCV'05) Volume 1, volume 2, pages 1526–1531. IEEE, 2005.
[^24]: Andualem T Maereg, Emanuele L Secco, Tayachew F Agidew, David Reid, and Atulya K Nagar. A low-cost, wearable opto-inertial 6-dof hand pose tracking system for vr. Technologies, 5(3):49, 2017.
[^25]: Gyeongsik Moon, Shoou-I Yu, He Wen, Takaaki Shiratori, and Kyoung Mu Lee. Interhand2.6m: A dataset and baseline for 3d interacting hand pose estimation from a single rgb image. In European Conference on Computer Vision, pages 548–564. Springer, 2020.
[^26]: Franziska Mueller, Dushyant Mehta, Oleksandr Sotnychenko, Srinath Sridhar, Dan Casas, and Christian Theobalt. Real-time hand tracking under occlusion from an egocentric rgb-d sensor. In Proceedings of the IEEE international conference on computer vision, pages 1154–1163, 2017.
[^27]: Chaithanya Kumar Mummadi, Frederic Philips Peter Leo, Keshav Deep Verma, Shivaji Kasireddy, Philipp M Scholl, Jochen Kempfle, and Kristof Van Laerhoven. Real-time and embedded detection of hand gestures with an imu-based glove. In Informatics, volume 5, page 28. MDPI, 2018.
[^28]: Takehiko Ohkawa, Ryosuke Furuta, and Yoichi Sato. Efficient annotation and learning for 3d hand pose estimation: A survey. International Journal of Computer Vision, 131(12):3193–3206, 2023.
[^29]: Shaohua Pan, Qi Ma, Xinyu Yi, Weifeng Hu, Xiong Wang, Xingkang Zhou, Jijunnan Li, and Feng Xu. Fusing monocular images and sparse imu signals for real-time human motion capture. In SIGGRAPH Asia 2023 Conference Papers, pages 1–11, 2023.
## [^30]: Georgios Pavlakos, Dandan Shan, Ilija Radosavovic, Angjoo Kanazawa, David Fouhey, and Jitendra Malik. Reconstructing hands in 3d with transformers. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 9826–9836, 2024
---
[^31]: Yuzhe Qin, Wei Yang, Binghao Huang, Karl Van Wyk, Hao Su, Xiaolong Wang, Yu-Wei Chao, and Dieter Fox. Anyteleop: A general vision-based dexterous robot arm-hand teleoperation system. arXiv preprint arXiv:2307.04577, 2023.
[^32]: Javier Romero, Dimitrios Tzionas, and Michael J. Black. Embodied hands: Modeling and capturing hands and bodies together. ACM Transactions on Graphics, (Proc. SIGGRAPH Asia), 36(6), November 2017.
[^33]: Yu Rong, Takaaki Shiratori, and Hanbyul Joo. Frankmocap: A monocular 3d whole-body pose estimation system via regression and integration. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 1749–1759, 2021.
[^34]: Anik Sarker, Ziyi Kou, Ergys Ristani, Li Guan, and Taylor Niehues. Real-time hand pose tracking using 6-axis imus. In Proceedings of the 21st ACM/IEEE International Conference on Human-Robot Interaction, pages 1182–1191, 2026.
[^36]: Yufei Xu, Jing Zhang, Qiming Zhang, and Dacheng Tao. Vitpose: Simple vision transformer baselines for human pose estimation. Advances in neural information processing systems, 35:38571–38584, 2022.
[^35]: Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, and Illia Polosukhin. Attention is all you need. Advances in neural information processing systems, 30, 2017.
[^37]: Xinyu Yi, Yuxiao Zhou, and Feng Xu. Transpose: Real-time 3d human translation and pose estimation with six inertial sensors. ACM Transactions On Graphics (TOG), 40(4):1–13, 2021.
[^38]: Fan Zhang, Valentin Bazarevsky, Andrey Vakunov, Andrei Tkachenka, George Sung, Chuo-Ling Chang, and Matthias Grundmann. Mediapipe hands: On-device real-time hand tracking. arXiv preprint arXiv:2006.10214, 2020.
[^39]: Haoran Zhang, Shuanghao Bai, Wanqi Zhou, Yuedi Zhang, Qi Zhang, Pengxiang Ding, Cheng Chi, Donglin Wang, and Badong Chen. Vcot-grasp: Grasp foundation models with visual chain-of-thought reasoning for language-driven grasp generation. arXiv preprint arXiv:2510.05827, 2025.
[^40]: Xinyu Zhang, Ziyi Kou, Chuan Qin, Mia Huang, Ergys Ristani, Ankit Kumar, Lele Chen, Kun He, Abdeslam Boularias, and Li Guan. Glove2hand: Synthesizing natural hand-object interaction from multi-modal sensing gloves. arXiv preprint arXiv:2603.20850, 2026.
[^41]: Zhe Zhang, Chunyu Wang, Wenhu Qin, and Wenjun Zeng. Fusing wearable imus with multi-view images for human pose estimation: A geometric approach. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 2200–2209, 2020.
[^42]: Christian Zimmermann and Thomas Brox. Learning to estimate 3d hand pose from single rgb images. In Proceedings of the IEEE international conference on computer vision, pages 4903–4911, 2017.
## [^43]: Christian Zimmermann, Duygu Ceylan, Jimei Yang, Bryan Russell, Max Argus, and Thomas Brox. Freihand: A dataset for markerless capture of hand pose and shape from single RGB images. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 813–822, 2019
---
## A 基于标记的动作捕捉系统搭建
为了获取真实的3D手部姿态标注数据，我们搭建了一个专用的基于标记点的光学动作捕捉环境。如图8所示，捕捉区域由模块化的铝制框架结构定义。我们在框架周围的不同高度和角度安装12台红外摄像头，以确保对捕捉区域进行密集的多视角覆盖，并尽量减少标记点被遮挡的情况。后墙采用深色哑光背景，以减少可能引入虚假标记检测的红外反射。受试者坐在捕捉区域中心的固定椅子上，地板上标有指定的捕捉区域。这种坐姿配置将手部活动范围限定在标定区域内的固定区域，从而确保所有摄像头都能清晰捕捉到标记点，并在数据采集过程中保证亚毫米级的跟踪精度。
Figure 8: Marker Based Mocap System Setup
## B AVI-HT的更多可视化结果
我们在图9中提供了AVI-HT与UMETrack之间的额外定性对比，结果表明在视觉遮挡情况下，AVI-HT在手部与物体交互时的跟踪精度更高。
---
Figure 9: More qualitative comparison between AVI-HT and UMETrack.