{
  "paper_id": "2d5e1626c4fe2d6dd23fe72162d9b18c",
  "paper_title": "INFINIHAND: STREAMING WORLD-SPACE HAND MOTION ESTIMATION FROM EGOCENTRIC VIDEO",
  "paper_authors": [
    "Kerui Ren",
    "Kaiwen Song",
    "Weiguang Zhao",
    "Yuxi Wang",
    "Yufei Liu",
    "Bo Dai",
    "Haoyu Guo",
    "Chunhua Shen",
    "Mulin Yu",
    "Tao Lu",
    "Junting Dong"
  ],
  "publication_date": "",
  "publication_venue": "unknown",
  "abstract": "本文提出 InfiniHand，一个端到端的流式前馈框架，可直接从未标定的第一人称视频中联合估计 MANO 手部参数、相机轨迹和手部位置。针对现有方法将独立手部姿态估计器与 SLAM 级联而导致误差累积、流程复杂和计算开销大的问题，InfiniHand 在统一架构中结合持久化时空记忆与以手为中心的视觉特征，显式耦合相机运动和局部手部几何。模型采用两阶段渐进训练：先学习鲁棒的相机空间手部先验，再扩展到流式世界坐标重建；训练语料聚合了约 5000 小时的多来源第一人称视频。实验表明，InfiniHand 在域内基准上优于现有方法，在 ARCTIC 上相对 ViDiHand 将 PA-p 降低 21.4%，并显著缓解世界坐标漂移；同时它能泛化到野外视频，运行速度达到 11.19 FPS，吞吐量超过 HaWoR 两倍。\n",
  "keywords": [
    "第一人称视频",
    "世界坐标手部运动估计",
    "三维手部重建",
    "MANO",
    "相机轨迹估计",
    "流式前馈网络",
    "时空记忆",
    "稀疏光束法平差"
  ],
  "paper_institutions": [
    "Shanghai Artificial Intelligence Laboratory",
    "Shanghai Jiao Tong University",
    "University of Science and Technology of China",
    "University of Liverpool",
    "Nanyang Technological University",
    "The University of Hong Kong",
    "Zhejiang University"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:32:59.987499Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对第一人称视频世界坐标手部运动估计需要同时恢复三维关节手几何并跟踪相机自运动、而传统级联式手部估计器与 SLAM 方案容易产生检测抖动、尺度不一致、轨迹漂移和高计算开销的问题，本文提出 InfiniHand 端到端流式前馈框架。相关工作中，HaMeR、WiLoR、Hamba、ViDiHand 等方法强化了单帧或视频手部网格恢复，HaWoR 和 Dyn-HaMR 则依赖多阶段相机跟踪与优化，但仍未在统一网络内充分耦合手部运动与相机自运动。InfiniHand 基于流式三维基础模型 LingBot-Map，先用全图几何特征经 DPT 解码器和双通道掩码头预测左右手掩膜与边界框，再由几何适配器裁剪主干特征、由 WiLoR 编码器提取手部外观特征，融合后回归 MANO 姿态、形状、全局朝向和根节点深度，并通过可微最小二乘投影对齐二维关键点以恢复横向平移；第二阶段通过几何上下文注意力维护锚点特征、近期稠密窗口和压缩轨迹记忆，联合输出相机内参、相机到世界位姿及手部状态，核心坐标变换可概括为 t̂_t^{w,s}=R̂_t t̂_t^{c,s}+û_t，随后用基于二值关键帧池的 DROID 稀疏光束法平差校正长期漂移。训练数据聚合 ARCTIC、HOT3D、EgoDex、DexYCB、HO3D、H2O3D、EgoVerse、EgoLive、Xperience-10M 九个公共数据集，统一采样为 10 FPS，渲染 MANO 掩膜并标准化坐标，借助 Sapiens 2 过滤低置信检测、错误关联和解剖学不合理姿态，清洗约 30%–40% 候选数据；Stage I 使用全部有效相机空间标注训练 300k 步，Stage II 使用带相机轨迹的子集以 4+16×2 共 36 帧片段训练 100k 步，采用 AdamW、批量 64、378×518 全图和 256×256 手部裁剪，这种按监督类型划分的渐进设置分别验证局部手部先验和联合手—相机世界坐标学习的作用。评测包含 ARCTIC 34 个场景、HOT3D 10 个、HOI4D 16 个、EgoDex 100 个场景，并在 Ego4D 上进行野外定性评估；检测使用 FAcc、Recall、F1，相机空间使用 MP-p、PA-p、EPE-p、GO-p、CT-p，世界空间使用 PA-MPJPE、W-MPJPE、WA-MPJPE。结果显示 InfiniHand 在四个相机空间基准上均取得最低 PA-p，ARCTIC 上从 ViDiHand 的 9.82 mm 降至 7.72 mm（降低 21.4%），EgoDex 上从 17.22 mm 降至 7.29 mm（降低 57.7%）；在三个世界空间基准上取得最低 W-MPJPE，ARCTIC 为 59.21 mm、较 WiLoR-SLAM 降低 10.1%，EgoDex 为 28.77 mm、较 Dyn-HaMR 降低 63.3%，支持统一联合建模和稀疏 BA 对绝对放置与轨迹一致性的贡献；系统达到 11.19 FPS，较 HaWoR 的 5.48 FPS 快 2.04 倍，消融还表明外观特征、LSP、BA、Stage II 和学习型掩膜头分别改善精细几何、平移对齐、长期漂移、世界坐标精度和检测鲁棒性。该方法适用于将海量人类操作视频转换为具身学习、人到机器人动作迁移、机器人模仿和操作策略学习所需的三维手部演示，但仍受单目系统缺乏固有米制尺度、需辅助对齐模型、复杂大幅双手交互与快速相机运动数据稀缺、衍生单目标注存在时变尺度漂移等约束，未来可探索无需后处理的米制尺度恢复、增强复杂遮挡与间歇可见数据，并提升长序列时序一致性。\n\n### 关键要点\n\n- InfiniHand 是一个端到端流式前馈框架，在同一架构中联合预测左右手位置、MANO 参数、相机内参、相机姿态和世界坐标手部轨迹。\n- 几何上下文注意力机制维护锚点特征、近期稠密特征窗口和压缩轨迹记忆，使局部手部几何与全局相机运动在持续视频状态中耦合。\n- 手部定位模块使用 LingBot-Map 全图几何特征、DPT 解码器和双通道卷积掩码头，通过二元交叉熵与 Dice 损失监督左右手分割。\n- 手部重建分支并行使用几何适配器和 WiLoR 外观编码器，融合特征由 MANO 头与二维关键点头共同预测。\n- 模型通过可微最小二乘投影将三维关节投影与预测二维关键点对齐，在固定根节点深度的情况下恢复手部裁剪坐标系中的横向平移。\n- 世界坐标转换将相机空间手部朝向与平移映射到第一锚点世界帧，局部关节姿态和形状在坐标变换中保持不变。\n- 稀疏光束法平差维护按时间排序的二值关键帧池，选择性重用历史观测约束，从而降低长序列累计相机漂移而不优化全部历史帧。\n- 预训练语料来自九个公共第一人称数据集，总计约 5000 小时，视频统一按 10 FPS 采样，并被转换为包含 RGB、相机空间 MANO、三维关节、掩膜、边界框和可选相机轨迹的标准格式。\n- 数据清洗使用 Sapiens 2 二维关键点与标注 MANO 投影比对，按边界框归一化像素误差和序列 90 分位阈值剔除噪声，约移除 30%–40% 候选训练数据。\n- 两阶段训练分别处理 4 帧片段和 4+16×2 的 36 帧流式片段，训练步数为 300k 和 100k，并在第二阶段以 1:1 混合真值框与预测框以模拟定位噪声。\n- 定量实验覆盖 ARCTIC、HOT3D、HOI4D、EgoDex，并在 Ego4D 上做野外定性测试；InfiniHand 在所有相机空间基准上取得最低 PA-p，并在所有世界空间基准上取得最低 W-MPJPE。\n- 系统吞吐量为 11.19 FPS，高于 WiLoR-SLAM 的 8.53 FPS、HaWoR 的 5.48 FPS 和 Dyn-HaMR 的 0.81 FPS，但米制尺度仍依赖辅助对齐模型，且在快速视角变化、严重遮挡和双手间歇可见场景下仍可能受限。"
}