{
  "paper_id": "26f35c17aec439b5d7d24ae78182548e",
  "paper_title": "AIRGLOVE: EXPLORING EGOCENTRIC 3D HAND TRACKING AND APPEARANCE GENERALIZATION FOR SENSING GLOVES",
  "paper_authors": [
    "Wenhui Cui",
    "Ziyi Kou",
    "Chuan Qin",
    "Ergys Ristani",
    "Li Guan"
  ],
  "publication_date": "",
  "publication_venue": "ICASSP 2026 - 2026 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)",
  "abstract": "传感手套能够提供速度、加速度和触觉反馈等丰富信号，已成为遥操作和机器人策略学习的重要工具。追踪戴手套手部的常见方法是直接利用传感器信号（如角速度、重力方向）估计3D手姿，但其精度常受传感器信号和校准质量影响。近年来，基于视觉的方法借助大规模预训练在裸手上取得了强劲表现，但它们在具有显著不同视觉外观的手套上的表现仍缺乏研究。本文首次系统评估了视觉手部追踪模型在零样本和微调设置下对传感手套的追踪能力。分析表明，由于裸手与手套设计之间存在巨大外观差异，现有裸手模型在传感手套上会出现显著性能退化。为此，作者提出AirGlove，利用已有手套数据将学习到的手套表示泛化到数据有限的新型手套。在多种传感手套上的实验表明，AirGlove能够有效将手姿模型泛化到新的手套设计，并相比对比方案取得显著性能提升。\n",
  "keywords": [
    "3D手部追踪",
    "对抗学习"
  ],
  "paper_institutions": [
    "Meta Reality Labs Research",
    "Ming Hsieh Department of Electrical and Computer Engineering, University of Southern California"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:18:33.787790Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文面向传感手套在遥操作、机器人模仿学习中的第一视角3D手部追踪需求，解决IMU等车载传感器方案易受校准质量、信号漂移和器件老化影响，而现有大规模裸手视觉模型面对手套纹理、光学标记、电机和传感器等外观差异时性能未知且可能显著退化的问题。相关研究已在裸手数据集与MEgATrack、UmeTrack等模型上证明视觉追踪可在遮挡和肤色变化下稳定回归21个3D关节，却缺少针对多种真实手套的系统评测；为每种新设计采集Optitrack 3D标注又成本高昂且难以持续。作者构建包含IMU-Glove、PS-Glove、MoCap-Glove、Haptic-Glove及裸手对照的多传感手套数据集，用Quest 3以60 Hz采集多视角第一视角视频并用Optitrack获取3D真值，按会话划分训练/评估，以覆盖AR/VR与机器人主要用途并验证外观域差和跨手套泛化。提出的AirGlove由时序感知视觉网络TADV-Net和对抗外观不变判别器AAID组成：编码器以当前帧和上一时刻手姿生成z=F_enc(x_t,q_{t-1})，解码器输出2D/1D热图并以L_pose监督，判别器则迫使隐表示对各手套类别的概率趋近均匀先验，核心优化目标为L_total=L_pose+λ_adv L_adv，其中L_adv为分类输出与均匀分布的KL散度；训练每3个轮次交替更新判别器和TADV-Net，以缓解经典对抗优化不稳定问题并保留姿态信息。实验在零样本设置下用MKPE、MKPE.T、F-MKPE、F-MKPE.T（毫米）评估，证明两裸手模型在手套上普遍退化，例如MEgATrack的MKPE从裸手16.677 mm升至PS-Glove 73.979 mm，UmeTrack从15.150 mm升至MoCap-Glove 57.452 mm；在留一手套、仅用目标手套20%至100%标注数据微调的设置下，AirGlove在各比例和各指标上均优于MEgATrack微调与从零训练等方案，定性网格也更贴合真值，支持对抗外观不变表示这一创新。消融中启用L_adv会使手套分类Accuracy和F1显著下降，t-SNE簇由可分变为混合，进一步证明外观信息被抑制。该方法适用于需要低标注成本适配新型手套的遥操作、AR/VR和机器人策略学习场景，约束是仍需少量目标手套标注、已有手套数据和第一视角相机，且评测受会话、手套类型与动作范围限制；未来可扩大真实多手套数据、增强对抗优化稳定性并拓展到手物交互和更多日常场景。\n\n### 关键要点\n\n- 作者构建了多传感手套数据集，包含IMU-Glove、PS-Glove、MoCap-Glove、Haptic-Glove和裸手对照，训练与评估帧数量合计达到数百万级。\n- 数据使用Quest 3以60 Hz采集第一视角多视角视频，并通过Optitrack光学动捕系统获取21个3D手部关键点的真值标签。\n- 四类手套分别面向惯性运动捕捉、压力接触测量、光学动捕标注和力/触觉反馈，可覆盖AR/VR及机器人中的典型应用和外观差异。\n- 实验按会话随机划分训练集和测试集，参与者执行滑动、捏合和自由形态等多种手部动作，以降低同一使用者或动作序列泄漏的风险。\n- 研究评估MEgATrack和UmeTrack两个裸手模型，二者均使用超过两百万帧裸手第一视角数据训练，原本对不同手型和肤色具有较好泛化能力。\n- 直接迁移到手套时两个模型均明显退化，例如MEgATrack在PS-Glove上的MKPE达到73.979 mm，而裸手仅为16.677 mm。\n- AirGlove包含时序感知深度视觉网络和对抗外观不变判别器，推理时以模型上一时刻预测手姿替代真值，形成自回归追踪。\n- 姿态解码器将隐表示转换为2D关键点热图和1D深度热图，并通过预测热图与真值热图之间的均方误差构成L_pose。\n- AAID把每种手套视为一个类别，利用KL散度迫使分类输出接近均匀先验，使姿态编码器难以从隐表示中识别手套外观。\n- 训练采用交替优化：先冻结TADV-Net训练手套分类器，再冻结分类器更新姿态网络，两个阶段每3个轮次切换一次。\n- 在留一手套评估中，AirGlove使用三种已有手套训练，并在目标手套20%到100%的不同标注比例下微调，每次随机采样5次报告均值和标准差。\n- AirGlove在所有数据比例、所有手套和所有指标上均优于MEgATrack微调和从零训练方案；消融还显示对抗损失降低手套分类Accuracy与F1，并使t-SNE特征簇混合，从而验证外观不变表示的有效性。"
}