# AIRGLOVE：探索以自我为中心的3D手部追踪与传感手套的外观泛化技术 崔文辉$^{1,2*}$、寇子怡$^{1}$、秦川$^{1}$、Ergys Ristani$^{1}$、关丽$^{1}$ $^{1}$ Meta Reality Labs Research $^{2}$ 南加州大学明·谢赫电气与计算机工程系 ## 摘要 传感手套已成为遥操作与机器人策略学习的重要工具，因为它们能够提供速度、加速度和触觉反馈等丰富信号。追踪戴手套的手部的常用方法是直接利用传感器信号（如角速度、重力方向）来估算3D手部姿态。然而，基于传感器的追踪在实际应用中存在局限性，因为其精度往往会受到传感器信号和校准质量的影响。近年来，基于视觉的方法通过大规模预训练在人体手部追踪上取得了优异性能，但其在外观特征迥异的戴手套手部上的表现仍未被充分研究。在本研究中，我们首次对基于视觉的手部追踪模型在零样本和微调设置下针对戴手套手部的情况进行了系统性评估。分析结果显示，现有的裸手模型在传感手套上会出现显著的性能下降，原因是裸手与手套设计之间存在较大的外观差异。因此，我们提出了AirGlove，它利用现有手套将数据驱动学到的手套表征泛化到数据量有限的新手套上。通过多种传感手套进行的实验表明，AirGlove能够有效将手部姿态模型泛化到新的手套设计上，且相比其他方案能实现显著的性能提升。 索引词—3D手部追踪、对抗性学习 ### 1. 引言 传感手套最近已成为机器人研究中的关键工具，支持远程操作 [^1] [^2] 以及人到机器人模仿学习 [^3] [^4] 等多种应用。为使用手套追踪人手，常见方法主要依赖手套上的传感器，如惯性测量单元 (IMUs) [^5]。然而，这些解决方案在实际应用中往往不稳定，因为传感器通常需要复杂的标定过程，并且其质量会随时间下降 [^6]。最近，通过利用大规模人类 ![Image](images/ed96bd6b23c192953d59d8cbf0cc61393b0c582813a8fb5a79776af4ab0f0a3a.jpg)
Fig. 1. Overview of Our Study. (Left) We quantitatively explore the potential degradation of vision-based hand tracking models on sensing gloves. (Right) We propose an appearance-invariant representation learning framework for glove generalization, which leverages adversarial learning on existing sensing glove data to enhance gloved hand tracking performance on unseen glove designs.
手部姿态数据集 [^7] 以及在多样化手部数据上训练的先进模型 [^8] [^9]。借助以自我为中心的相机，基于视觉的模型能够提供稳定且细粒度的手部姿态估计，即使在遮挡或皮肤外观变化等具有挑战性的条件下，也能准确推导手指关节和手腕位置 [^8] [^9] [^10]。虽然此类模型可应用于传感手套，但人手与手套之间的外观差异是否以及会在多大程度上导致性能下降，仍尚不明确。因此，在本工作中，我们研究了人手与传感手套在外观层面上的潜在域差异；尽管该差异对手套追踪至关重要，但目前相关探索仍然相对不足。 我们在图1中进一步说明了所研究的问题。传感手套包含多种针对不同应用而设计的结构。将基于视觉的手部模型适配到手套上的一种可行方案是收集带有标注手部姿态的手套专用数据集[^11] [^12]，随后利用这些数据对模型进行微调。然而，由于缺乏足够的手套数据，模型改进程度与传感手套数据规模之间的相关性尚不明确。此外， --- 从长远来看，由于外观独特的新款手套设计不断涌现，数据采集过程既耗时又甚至不切实际。 鉴于这些局限性，我们对基于视觉的手部追踪模型在各类传感手套上的表现进行了系统性研究。为了减少为新款手套设计采集数据的工作量，我们提出了AirGlove——一种外观不变表征学习框架，该框架利用现有的传感手套来学习外观不变的手套表征，进而可推广应用到新手套上。不过，要实现上述目标还需克服两大技术挑战。首先是手套数据不足的问题，目前尚无覆盖各类手套应用的大规模真实世界手套数据集。其次是对抗性学习方法的设计缺乏有效性。虽然可以应用传统的对抗性框架[^13]，但这种优化涉及两个相互竞争的目标，本质上不稳定且容易出现收敛问题[^14] [^15]。 为应对第一个挑战，我们创建了一个包含数百万视频帧和基于Optitrack的3D姿态标签的多传感手套数据集[^11]，用于适配和评估基于视觉的模型。为应对第二个挑战，我们为AirGlove设计了基于能量的对抗性学习策略：通过均衡所有手套外观下的隐藏手套表征的概率，从而促使模型学习外观无关表征，同时保持稳健的姿态估计性能。据我们所知，我们的工作是首个明确探究并消除传感手套与人手之间视觉外观差异、以优化基于视觉的手部追踪模型的研究。使用多种传感手套进行的实验表明，基于视觉的模型性能会出现显著下降，而引入AirGlove后其性能则得到大幅提升。 ### 2. 问题定义 定义1. 基于视觉的手套手部追踪：假设用户手上佩戴着传感手套，头部装有以自我为中心的视觉摄像头（例如头戴式智能眼镜或头戴显示器），随后用户会进行各种手部活动。我们将录制的视频记为$\mathcal{X}_g = \{x_{g,t}\}_{t=1}^T$，其中$x_{g,t}$代表第$t^{\text{th}}$帧，g表示特定的传感手套。基于视觉的手部追踪模型的目标是以$x_{g,t}$为输入，预测出由一组3D地标组成手部骨架。具体而言，我们将预测的21个地标记为$p_{g,t} = \{p_{g,t}^k\}_{k=1}^2$，其中每个$p_{g,t}^k \in \mathbb{R}^3$代表一个3D坐标向量。 定义2. 手部姿态真值：与模型预测类似，我们将手部姿态标签表示为一组3D地标[^16]。正式来说，时间t下针对手套g的手部姿态记为$q_{g,t} = \{q_k\}_{k=1}^{21}$。关于真值采集的更多细节将在第3节中说明。 定义3. 手套外观泛化：对于 pose 标签有限的新款传感手套，我们的目标是
Dataset# Sessions (Train)# Sessions (Eval)# Frames (Train)# Frames (Eval)
IMU-Glove286858,059446,200
PS-Glove4198,96249,673
MoCap-Glove133224,875160,561
Haptic-Glove51247,479158,946
Bare-hand53232,10456,883
Table 1. Summary of Multi. Sensing Glove Dataset.
改进基于视觉的模型，使其能从现有的传感手套中学习外观不变的表征，从而让这些表征能够推广到具有未见外观的新手套上。具体来说，我们将该问题表述为一个对抗性优化任务：由一个对抗分类器来消除潜特征中不同手套之间的外观差异，用数学方式可表示为： $$ \mathcal{M}^{*}=\operatorname{a r g}\operatorname*{m i n}_{\mathcal{M}}~\mathbb{E}_{(x,p)\sim\mathcal{X}}\left[\mathcal{L}_{\mathrm{p o s e}}(\mathcal{M}(x),p)+\mathcal{L}_{\mathrm{a d v}}\right], $$ 其中 $\mathcal{M}$ 表示基于视觉的模型。关于各术语的更详细解释可参见第4.1节和4.2节。 ### 3. 基于视觉的手套追踪 在本节中，我们将详细介绍在传感手套上评估基于视觉的手部追踪模型的实验设置。 多类型传感手套数据集。我们选取了四种具有代表性的传感手套，以覆盖主流AR/VR及机器人应用中的各类使用场景。这些手套的原型如图1所示。它们包括：①配备惯性传感器的IMU手套，用于捕捉运动动态；②集成电机或振动触觉单元等执行器的触觉手套，用于提供力反馈与触觉反馈；③带有分布式压力传感器的压力传感（PS）手套，用于测量接触交互；④带有光学标记点的MoCap手套，用于精确的运动捕捉与标注。我们使用Quest 3以60Hz的频率拍摄多视角第一人称视频，并借助光学动作捕捉系统获取真实的手部姿态 [^11]。此外，我们还收集了裸手数据集，为所研究的手部追踪模型建立基准。每位参与者参与一次实验，期间他们需完成多种手部动作（如滑动、捏合、自由形态动作）。对于每种手套，我们按会话级别随机划分训练集与测试集，数据摘要见表1。 基于视觉的裸手模型。我们采用了两种与我们动作捕捉系统标注直接兼容的基于视觉的裸手模型：(i) MEgATrack [^16]：一种实时第一人称手部追踪框架，包含基于ResNet的姿态回归器，用于回归3D手部关键点。[^7]。(ii) UmeTrack [^17]：专为VR设计的多视角手部追踪框架，它接收第一人称广角摄像头输入，并预测世界坐标系下的3D手部姿态。这两种模型均在超过两百万条裸手第一人称视觉数据上训练，能够很好地适应不同的手型与肤色。 --- ![Image](images/fc38a7bec2dd4fa95bc9ade04182594ca427355e36fbc8c41bf741471d375ac1.jpg)
Fig. 2. Overview of AirGlove. The temporal-aware encoder extracts visual representations from egocentric videos, followed by the 3D pose decoder for pose estimation. The adversarial appearance discriminator iteratively regulates the glove representations to derive appearance-invariant features.
### 4. 手套外观泛化 我们提出了AirGlove，它由两个模块组成：i) 时序感知深度视觉网络；ii) 对抗性外观不变判别器。具体而言，AirGlove是在现有手套采集的数据上优化的，记为 $\mathcal{G} = \{g_k\}$，预期能推广到新手套上，记为 $\hat{g}$。图2展示了我们提出的AirGlove框架概览，下文将分别介绍各个模块。 结合第3节中对基于视觉的手部追踪模型的探讨，我们在标注数据有限的情况下进一步提升了这些模型的手套追踪性能。一个简单的解决方案是对现有裸手模型在新手套数据上进行微调。然而，当可用数据规模较小时，模型容易出现过拟合现象，无法捕捉足够的手部姿态多样性。此外，为每一种新设计的手套持续收集标注数据集并不现实，因为手套设计更新迅速且外观各异，而获取3D姿态标注是一项资源密集型工作。 #### 4.1. 时序感知深度视觉网络（TADV-Net） 我们遵循[^16]的思路来构建视觉编码器，利用视频帧$x_{g,t}$以及上一时间戳中的手部姿态$q_{g,t-1}$来提供上下文运动先验。我们将编码过程表述为$z_{g,t} = \mathcal{F}_{\text{enc}}(x_t, q_{g,t-1})$，其中$z_{g,t} \in \mathbb{R}^d$表示编码后的d维表征。需要注意的是，在推理阶段，我们会用$q_{g,t-1}$替换$p_{g,t-1}$，以维持模型的自回归预测能力。 姿态解码器是一个多层堆叠的MLP，它可将$z_{g,t}$分别转换为用于手部关键点的2D热图和深度信息的1D热图。随后会应用3D手部姿态损失函数，其形式为： $$ \mathcal{L}_{\mathrm{p o s e}}=\frac{1}{K}\sum_{k=1}^{K}\|\hat{\boldsymbol{h}}_{k}^{\mathrm{2D}}-\boldsymbol{h}_{k}^{\mathrm{2D}}\|_{2}^{2}+\|\hat{\boldsymbol{h}}_{k}^{\mathrm{1D}}-\boldsymbol{h}_{k}^{\mathrm{1D}}\|_{2}^{2} $$ 其中K是关键点总数，$h^{1D}/h^{2D}$代表1D/2D热图。$\hat{h}_{k}$则表示预测结果。 #### 4.2. 对抗性外观不变判别器 对抗性外观不变判别器（AAID）的设计基于这样一个假设：每种手套
Eval DataModelMKPE $\downarrow$MKPE.T $\downarrow$F-MKPE $\downarrow$F-MKPE.T $\downarrow$
Bare-handMEgATrack16.6778.40821.16216.325
UmeTrack15.1507.97018.57415.142
IMU-GloveMEgATrack33.93813.00940.04925.837
UmeTrack18.55910.27322.82320.286
PS-GloveMEgATrack73.97919.40178.75139.514
UmeTrack54.60113.80462.39827.350
MoCap-GloveMEgATrack21.48711.97627.04622.967
UmeTrack57.45212.09962.95323.146
Haptic-GloveMEgATrack63.50916.23266.46632.151
UmeTrack60.52514.84066.47329.190
Table 2. Comparison of pose tracking results (mm) on bare-hand and sensing gloves. Both evaluated models show substantial performance degradation when applied to gloves.
具有独特外观的特征可被视为一种语义类别。给定某一特定帧的表示$z_{g,t}$，如果$z_{g,t}$并未偏向某种手套的外观，那么AAD应当为所有手套分配相等的概率。具体而言，我们构建了一个卷积分类器$\theta_{\text{cls}}$，它以$z_{g,t}$作为输入，并输出$|\mathcal{G}|$个维度作为预测类别。为了抑制外观信息的影响，我们定义对抗性损失$\mathcal{L}_{\text{adv}}$，即分类器输出与均匀先验U之间的Kullback–Leibler（KL）[^18]散度。最小化该散度的过程可以表示为$\mathcal{L}_{\text{adv}}$： $$ D_{\mathrm{KL}}(U\parallel\theta_{\mathrm{cls}}(z))=-\frac{1}{|\mathcal{G}|}\sum_{c=1}^{|\mathcal{G}|}\log\theta_{\mathrm{cls}}(z)-\log|\mathcal{G}| $$ 其中$\theta_{\mathrm{cls}}(z)$是分类器的输出。AirGlove的总体优化目标被定义为$\mathcal{L}_{\mathrm{total}} = \mathcal{L}_{\mathrm{pose}} + \lambda_{\mathrm{adv}} \mathcal{L}_{\mathrm{adv}}$，其中涉及$\lambda_{\mathrm{adv}} \in [0,1]$。 我们采用交替优化策略来共同优化姿态估计并分离出手套特有的外观特征。该过程分为两个阶段交替进行：(i) 冻结TADV-Net，通过最小化多类交叉熵$\theta_{cls}$来更新$\mathcal{L}_{cls}$；(ii) 冻结$\theta_{cls}$，通过最小化$\mathcal{L}_{total}$来更新TADV-Net。这两个阶段每E=3个周期交替一次。通过确保AAD能适应不断演变的视觉表征，同时TADV-Net也能提升其挑战判别器的能力，AirGlove最终能够有效学习到外观不变的手套表征。 ### 5. 评估 我们在收集的数据集上开展了大量实验，以回答以下研究问题：Q1) 将基于视觉的裸手模型直接应用于传感手套时，姿态跟踪性能会下降多少？Q2) 对于标注数据有限的新手套，AirGlove能在多大程度上提升手套跟踪性能？Q3) AirGlove从现有传感手套中学习到的外观不变表征的效果如何？ 在手套上评估裸手模型（Q1）。我们遵循[^16]的方法，采用平均关键点位置误差（MKPE）和 --- ![Image](images/b264068da8a06986825c3c9f4cbfc1cb50985bfb51ca16dc21fd8de4a04c2dc7.jpg)
Fig. 3. Evaluation of AirGlove on sensing glove datasets. AirGlove achieves superior tracking performance compared to all baselines across different sensing gloves (row-wise) and evaluation metrics (column-wise). Best viewed in color.
指尖MKPE（F-MKPE），以及它们的变换形式（MKPE.T和F-MKPE.T）作为评估指标。我们在表2中展示了评估结果。我们发现，与裸手情况相比，MEgATrack和UmeTrack在传感手套上的性能均有显著下降。这些发现凸显了基于视觉的方法在处理传感手套与裸手时的巨大差异，也反映了外观差异带来的挑战。 在微调设置下评估AirGlove（Q2）。为回答Q2，我们以MEgATrack作为基线，与AirGlove进行比较，因为它们采用相同的视觉编码器骨干网络。我们在三个传感手套数据集的并集上训练MEgATrack和AirGlove，并将其中一种手套作为保留集留出。对于新的目标手套，我们让MEgATrack和AirGlove分别在占训练数据20%到100%的不同比例上进行微调。对于每个比例，我们随机采样数据5次，并报告平均值及标准差。我们还提出了MEgA-scratch，它会在相同比例的目标手套数据上从零开始训练。定量评估结果展示在图3中。我们发现，无论数据比例如何，AirGlove在所有指标上始终优于其他对比方案。我们将AirGlove的泛化性能归功于其对抗性学习策略，该策略能够有效学习对外观具有不变性的姿态表示。 我们通过基于预测的手部姿态渲染3D手部网格来定性评估AirGlove的跟踪性能[^19]。对于作为未见手套的Haptic-Glove，我们比较了AirGlove和MEgA Track生成的重建网格。如图4所示，AirGlove生成的手部姿态更 ![Image](images/49c69cc9722dfd1b332d97e423c244df8095eb5ccada8aacbe610efa2f0a7ea5.jpg)
Fig. 4. Visualization for AirGlove. Compared to the baseline MEgATrack (red), AirGlove (yellow) generates predictions that are better aligned with the ground-truth (green).
![Image](images/b04a95dbb43668b6b8fc6bbaddb43891197027d5663ac2a8182d07bcabb03e88.jpg)
Fig. 5. Glove classification results and t-SNE visualization of glove representations. With $\mathcal{L}_{\mathrm{adv}}$ vs. without, the model learns features that cannot differentiate glove appearances, leading to pose representations without appearance bias.
与真实值紧密对齐，优于基线方法。 消融研究（Q3）我们在所有手套数据集的并集上训练AirGlove，一次启用$\mathcal{L}_{\mathrm{adv}}$，另一次不启用。训练完成后，我们冻结姿态编码器，并在保留样本上评估对抗分类器$\theta_{\mathrm{cls}}$的分类准确率和F1分数[^20]。我们还提取$\theta_{\mathrm{cls}}$的输出，随机选取一部分样本，利用t-SNE进行可视化[^21]。图5展示了定量和定性结果。我们发现，启用$\mathcal{L}_{\mathrm{adv}}$会显著降低分类性能，这与可视化结果一致——每种手套的特征簇都合并成了混合分布。这些结果证实，$\mathcal{L}_{\mathrm{adv}}$能有效抑制姿态编码器所学表示中的特定于外观的信息，从而增强在手套外观差异下的泛化能力。 ### 6. 结论 在这项工作中，我们研究了传感手套的手部跟踪问题，其中不同手套设计带来的外观差异会严重削弱基于视觉的裸手模型的性能。为解决这一问题，我们提出了AirGlove，它能够学习外观不变的表示，从而实现无需针对新手套设计进行大规模训练数据收集即可进行的泛化手套跟踪。实验结果表明，AirGlove能够提升新手套设计上的戴手套手部跟踪的泛化能力，且性能始终优于其他对比方案。 --- ### 7. 参考文献 [^1]: Noah Becker, Kyrylo Sovailo, Chunyao Zhu, Erik Gattung, Kay Hansel, Tim Schneider, Yaonan Zhu, Yasuhisa Hasegawa, and Jan Peters, “Integrating and evaluating visuo-tactile sensing with haptic feedback for teleoperated robot manipulation,” 2024. [^2]: Manuel Caeiro-Rodríguez, Iván Otero-González, Fernando A Mikic-Fonte, and Martín Llamas-Nistal, “A systematic review of commercial smart gloves: Current status and applications,” Sensors, vol. 21, no. 8, pp. 2667, 2021. [^3]: Qingtao Liu, Qi Ye, Zhengnan Sun, Yu Cui, Gaofeng Li, and Jiming Chen, “Masked visual-tactile pre-training for robot manipulation,” in 2024 IEEE International Conference on Robotics and Automation (ICRA). IEEE, 2024, pp. 13859–13875. [^4]: Elmar Rueckert, Rudolf Lioutikov, Roberto Calandra, Marius Schmidt, Philipp Beckerle, and Jan Peters, "Low-cost sensor glove with force feedback for learning from demonstrations using probabilistic trajectory representations," 2015. [^5]: Arvin Tashakori, Zenan Jiang, Amir Servati, Saeid Soltanian, Harishkumar Narayana, Katherine Le, Caroline Nakayama, Chieh-ling Yang, Z Jane Wang, Janice J Eng, et al., “Capturing complex hand movements and object interactions using machine learning-powered stretchable smart textile gloves,” Nature Machine Intelligence, vol. 6, no. 1, pp. 106–118, 2024. [^6]: Anna Filipowska, Wojciech Filipowski, Paweł Raif, Marcin Pieniażek, Julia Bodak, Piotr Ferst, Kamil Pilarski, Szymon Sieciński, Rafał Jan Doniec, Julia Mieszczanin, et al., “Machine learning-based gesture recognition glove: design and implementation,” Sensors (Basel, Switzerland), vol. 24, no. 18, pp. 6157, 2024. [^7]: Takehiko Ohkawa, Kun He, Fadime Sener, Tomas Hodan, Luan Tran, and Cem Keskin, “Assemblyhands: Towards egocentric activity understanding via 3d hand pose estimation,” in Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, 2023, pp. 12999–13008. [^8]: Georgios Pavlakos, Dandan Shan, Ilija Radosavovic, Angjoo Kanazawa, David Fouhey, and Jitendra Malik, “Reconstructing hands in 3d with transformers,” 2023. [^9]: A. Prakash et al., “3d hand pose estimation in everyday egocentric images,” arXiv preprint arXiv:2404.09308, 2024. [^10]: Wencan Cheng, Hao Tang, Luc Van Gool, and Jong Hwan Ko, “Handdiff: 3d hand pose estimation with diffusion on image-point cloud,” 2024. [^11]: Gergely Nagymáté and Rita M Kiss, “Application of optitrack motion capture systems in human movement analysis,” 2018. [^12]: Gyeongsik Moon, Shoou i Yu, He Wen, Takaaki Shiratori, and Kyoung Mu Lee, “Interhand2.6m: A dataset and baseline for 3d interacting hand pose estimation from a single rgb image,” 2020. [^13]: Ian J. Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville, and Yoshua Bengio, “Generative adversarial networks,” 2014. [^14]: Maciej Wiatrak, Stefano V. Albrecht, and Andrew Nystrom, “Stabilizing generative adversarial networks: A survey,” 2020. [^15]: Wanying Wang et al., “Exploring gradient explosion in generative adversarial imitation learning: A probabilistic perspective,” 2023. [^16]: Shangchen Han, Beibei Liu, Randi Cabezas, Christopher D. Twigg, Peizhao Zhang, Jeff Petkau, Tsz-Ho Yu, Chun-Jung Tai, Muzaffer Akbay, Zheng Wang, Asaf Nitzan, Gang Dong, Yuting Ye, Lingling Tao, Chengde Wan, and Robert Wang, “Megatrack: monochrome egocentric articulated hand-tracking for virtual reality,” ACM Trans. Graph., vol. 39, no. 4, Aug. 2020. [^17]: Shangchen Han, Po-Chen Wu, Yubo Zhang, Beibei Liu, Linguang Zhang, Zheng Wang, Weiguang Si, Peizhao Zhang, Yujun Cai, Tomas Hodan, Randi Cabezas, Luan Tran, Muzaffer Akbay, Tsz-Ho Yu, Cem Keskin, and Robert Wang, “Umetrack: Unified multi-view end-to-end hand tracking for vr,” in SIGGRAPH Asia 2022 Conference Papers. Nov. 2022, SA '22, p. 1–9, ACM. [^18]: Solomon Kullback and Richard A Leibler, “On information and sufficiency,” The Annals of Mathematical Statistics, vol. 22, no. 1, pp. 79–86, 1951. [^19]: Sasha Salter et al., “emg2pose: A large and diverse benchmark for surface electromyographic hand pose estimation,” 2024. [^20]: Jasmina Dj Novaković, Alempije Veljović, Siniša S Ilić, Željko Papić, and Milica Tomović, “Evaluation of classification models in machine learning,” Theory and Applications of Mathematics & Computer Science, vol. 7, no. 1, pp. 39, 2017. [^21]: Laurens Van der Maaten and Geoffrey Hinton, “Visualizing data using t-sne.,” Journal of machine learning research, vol. 9, no. 11, 2008.