{
  "paper_id": "52c13188617014eee4421a33af693149",
  "paper_title": "AVI-HT: Adaptive Vision-IMU Fusion for 3D Hand Tracking",
  "paper_authors": [
    "Ziyi Kou",
    "Ankit Kumar",
    "Mia Huang",
    "Taylor Niehues",
    "Vatsal Mehta",
    "Ergys Ristani",
    "Li Guan"
  ],
  "publication_date": "",
  "publication_venue": "unknown",
  "abstract": "我们提出 AVI-HT，一种通过联合建模第一视角图像与手套上 6 自由度 IMU 信号来追踪三维手部姿态的自适应视觉-IMU 融合方法。AVI-HT 显著提升了追踪精度与可用性，尤其适用于存在严重视觉遮挡的手物交互场景。其成功依赖两个互补要素：一是同步多模态训练数据，将随身视觉与 IMU 传感器流和来自动作捕捉系统的三维手部姿态真值配对；二是跨传感器深度注意力机制，可自适应调节对视觉信号和各个 IMU 传感器的信任程度。为在真实环境中评估 AVI-HT，我们在 DexGloveHOI 数据集上进行了大量实验；该数据集包含 10 万余对视觉-IMU 样本及同步三维标注姿态，用户在日常任务中操作多种物体。我们在 UmeTrack 和 MANO 两种手部模型下与多种单模态及多模态追踪方法比较。结果表明，AVI-HT 相比基线将平均关键点误差降低 16.1%，其腕部对齐变体降低 24.2%。消融研究进一步揭示了不同活动类型中各手指 IMU 传感器的贡献，以及模型对 IMU 噪声和视觉-IMU 时间错位的敏感性。\n",
  "keywords": [
    "三维手部追踪",
    "视觉-IMU融合",
    "跨传感器注意力",
    "手物交互",
    "数据手套",
    "6自由度IMU",
    "第一视角视觉",
    "MANO",
    "UMETrack",
    "动作捕捉"
  ],
  "paper_institutions": [
    "Meta Reality Labs"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:24:58.608121Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对 AR/VR 与机器人遥操作中手物交互常因抓握导致手指严重遮挡、纯视觉方法存在大量运动学合理解释的问题，论文指出已有三维手部追踪多依赖 RGB 图像或惯性传感器：视觉方法在遮挡下精度骤降，9 自由度 IMU 易受室内电磁干扰，6 自由度 IMU 虽无磁力计畸变却缺少绝对朝向参考并会累积漂移。作者提出 AVI-HT，将第一视角视觉与配备 12 个 6 自由度 IMU 的全手数据手套相结合，其依据是视觉可提供腕部全局位置和朝向，而 IMU 可捕捉不受遮挡影响的高频局部关节动态。方法的核心是层级式跨传感器注意力：先由视觉编码器生成全局视觉 token，由 Transformer IMU 编码器处理 14 个时间步、12 个传感器的重力与陀螺仪信号并生成传感器 token，再将统一序列 Z=[F_vis*,s_1,…,s_12] 纳入带手部运动学先验掩码的注意力，即 `Attention^{[1]}(Q,K,V)=softmax(QK^T/\\sqrt{d_k}+M)V`，其中 M 依据传感器在手部骨架图上的测地线最短跳数设置，使遮挡关节的权重转向解剖位置对应的 IMU；第二层再把 12 个 IMU token 平均池化为一个 token，与视觉 token 进行平衡自注意力，避免 softmax 质量偏向数量更多的惯性模态。为弥补现有数据缺少惯性信号、遮挡和复杂操作不足的问题，作者采集 DexGloveHOI：4 名参与者、3.5 小时质控数据、17 类灵巧操作任务、超过 10 万个第一视角帧、240 万个 IMU 样本和 720 GB 同步记录，并用标记式光学动捕提供 UMETrack 与 MANO 两种真值；选择两种表示分别验证实时 AR/VR 追踪和离线三维网格重建。模型在 8 张 NVIDIA H100 上训练 40 个 epoch、批大小 48，采用 Adam、阶梯学习率衰减、快速运动与图像噪声等增强，并分别从 UMETrack 和 HaMeR 检查点初始化。在 UMETrack 设置下，AVI-HT 的 MKPE 为 10.359 mm、指尖 MKPE 为 13.253 mm，相比纯视觉 UMETrack 分别降低 16.1% 和 24.2%，且在所有指标上优于后处理 EKF 融合和 6 自由度 IMU-only 追踪器；在 MANO 设置下，相比 HaMeR 将 PA-MPJPE 从 13.754 mm 降至 10.519 mm、PA-MPVPE 从 12.736 mm 降至 9.265 mm，并提升 F@5 与 F@15。消融表明各 IMU 主要改善对应手指，邻近手指因运动学耦合也存在迁移，剪切、剪刀、螺丝刀等重遮挡精细操作收益最大；噪声实验显示模型可承受中等 IMU 扰动，但 2 倍原生噪声后误差明显上升，±0.4 秒时间错位实验呈以零错位为中心的 V 形曲线，说明多模态时间同步至关重要。该方法适用于高遮挡手物交互、AR/VR 输入和机器人遥操作，但数据手套会改变手部外观并可能造成裸手下游管线的域差距，且特定手套的传感器布局与规格限制了跨设备泛化，后续可探索手部头像渲染去手套、手套无关融合与跨设备泛化。\n\n### 关键要点\n\n- AVI-HT 联合输入 Meta Quest 类第一视角单色相机和带 12 个 6 自由度 IMU 的全手数据手套，每个 IMU 包含三轴加速度计和三轴陀螺仪。\n- 视觉以 60 Hz 采集、IMU 以 200 Hz 采集；系统将每个视频帧对齐到最近 IMU 时间戳，并提取同步时刻前 14 个连续 IMU 样本构成 14×23×3 输入窗口。\n- 跨传感器注意力先融合一个全局视觉 token 与 12 个传感器 token，并通过手部骨架测地线距离构成的运动学先验掩码限制无关节点交互。\n- 当某关节在图像中被遮挡时，对应位置 IMU 的注意力权重上升；腕部通常仍可见，因此视觉继续为全局腕部位姿提供锚点。\n- 第二级注意力将 12 个 IMU token 池化为一个聚合 token，再与视觉 token 做平衡自注意力，缓解单个视觉 token 被多个 IMU token 淹没的问题。\n- DexGloveHOI 包含 4 名参与者、3.5 小时有效数据、17 类灵巧操作任务、10 万余帧、240 万个 IMU 样本和动捕三维真值，覆盖切割、剪刀、螺丝刀等日常操作。\n- 在 UMETrack 表示下，AVI-HT 取得 10.359 mm MKPE 和 13.253 mm 指尖 MKPE，显著优于纯视觉 UMETrack、UMETrack+EKF 和 IMU-only 方法。\n- 在 MANO 表示下，AVI-HT 相比 HaMeR 将 PA-MPJPE 降低 23.5%、PA-MPVPE 降低 27.3%，并将 F@5 从 0.516 提升到 0.628。\n- 逐手指消融显示传感器对同手指追踪贡献最大，近邻手指也因肌腱和运动相关性提供跨手指信息；重遮挡、精细操作活动的提升最明显。\n- 敏感性实验表明，IMU 加性高斯噪声达到原生噪声地板 2 倍时 MKPE 约升至 12.344 mm，而视觉与 IMU 时间错位越大误差越高，零错位效果最佳。\n- 论文明确的部署约束包括手套外观导致的域差距、6 自由度 IMU 缺少全局空间参考、多模态时间同步要求高，以及模型在不同手套布局和 IMU 规格上的泛化仍待验证。"
}