{
  "paper_id": "478360c2cf681f33ed76a9da2fc40971",
  "paper_title": "Predicting 4D Hand Trajectory from Monocular Videos",
  "paper_authors": [
    "Yufei Ye",
    "Yao Feng",
    "Omid Taheri",
    "Haiwen Feng",
    "Shubham Tulsiani",
    "Michael J. Black"
  ],
  "publication_date": "",
  "publication_venue": "2026 International Conference on 3D Vision (3DV)",
  "abstract": "我们提出HaPTIC，一种从单目视频推断连贯4D手部轨迹的方法。当前基于视频的手部姿态重建方法主要关注利用相邻帧改进逐帧3D姿态，而非研究空间中一致的4D手部轨迹。尽管有额外的时间线索，由于标注视频数据稀缺，这些方法通常不如基于图像的方法。为解决这些问题，我们将最先进的基于图像的Transformer改造为接受多帧输入并直接预测连贯轨迹。我们引入两类轻量注意力层：用于融合时间信息的跨视图自注意力，以及用于引入更大空间上下文的全局交叉注意力。我们的方法推断出与真值相似的4D手部轨迹，同时保持强2D重投影对齐。我们将该方法应用于自我中心和第三人称视频。它在全局轨迹精度上显著优于现有方法，同时在单图像姿态估计上与最先进方法相当。",
  "keywords": [
    "4D手部轨迹",
    "手部姿态估计",
    "单目视频",
    "Transformer",
    "注意力机制",
    "MANO",
    "全局坐标",
    "自我中心视频"
  ],
  "paper_institutions": [
    "Carnegie Mellon University",
    "Max Planck Institute for Intelligent Systems"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:39:59.620372Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文解决从单目视频中推断连贯4D手部轨迹（3D空间加时间）的问题，这对AR/VR、机器人模仿学习和手-物交互推理等下游任务至关重要。现有基于视频的方法主要关注逐帧3D姿态而缺乏全局轨迹建模，且因标注视频数据稀缺而普遍逊于基于图像的方法；常见做法是先预测局部3D姿态再通过弱透视到全透视变换（Weak2Full）提升至相机坐标系，但该变换对预测尺度误差和焦距假设高度敏感，会引入显著的4D运动误差，而基于深度估计的提升方法在遮挡下失效，依赖全身4D重建的方法则要求身体大部分可见。为此，作者提出HaPTIC：将最先进的基于图像的Transformer模型HaMeR改造为多帧输入的孪生网络，注入两类轻量注意力层——跨视图自注意力（Cross-view SA）融合时间信息、全局交叉注意力（Global CA）关注原始整帧特征以获取更大空间上下文（仅新增约4%参数），并新增预测头直接在度量空间中参数化轨迹，核心公式为 X^c = X^l + (u_x, u_y, Δd + d_1)，即预测相对首帧的度量深度变化Δd而非绝对深度，以规避深度歧义。训练采用视频与图像数据交错混合策略（每批次各半），以在视频标注数据稀缺的约束下保持单图像方法的鲁棒性与泛化能力。实验在DexYCB、ARCTIC-EXO（第三人称）和ARCTIC-EGO（自我中心）数据集上进行，这些数据集提供全局坐标标注，用于验证全局轨迹精度；通用模型在5个视频数据集和10个图像数据集组合上训练。采用GA-MPJPE、FA-MPJPE和ACC-NORM指标评估，HaPTIC在所有数据集上均位列前二（如ARCTIC-EXO上GA-MPJPE从Weak2Full基线的7.88降至1.88），显著优于Weak2Full、ZoeDepth和WHAM等基线，同时保持强2D重投影对齐，且作为单图像估计器在HInt基准上超过HaMeR，验证了全局CA层和轨迹参数化设计的有效性。未来方向包括联合2D跟踪与重建、在世界坐标系而非相机坐标系中推断轨迹，以及引入更多自我中心视频数据。方法假设可靠的2D手部跟踪系统，这是其主要现实约束。\n\n### 关键要点\n\n- HaPTIC是首个从单目视频前馈预测全局坐标系下连贯4D手部轨迹的方法，输出MANO手部参数及相机坐标系中的手腕全局位置。\n- 核心架构创新是在HaMeR的Transformer解码器中注入跨视图自注意力层（融合多帧时间线索，含帧号位置编码）和全局交叉注意力层（关注整帧ViT特征以获取场景上下文），仅新增约4%参数且新层初始化为零输出以保护预训练结构。\n- 轨迹参数化直接在度量空间预测相对首帧的深度变化Δd（公式 X^c = X^l + (u_x, u_y, Δd + d_1)），避免了Weak2Full中尺度误差经焦距放大导致的3D位置漂移，也规避了绝对深度的歧义性。\n- 训练策略将视频与图像数据交错混合：每个批次一半来自视频数据集（视频模式），另一半来自图像数据集（图像模式），使模型以远少于纯视频训练的数据量获得泛化能力。\n- 评估覆盖两个第三人称数据集（DexYCB、ARCTIC-EXO）和一个自我中心数据集（ARCTIC-EGO），均提供全局坐标标注；通用模型在5个视频数据集（含ARCTIC）和10个图像数据集组合上以更长训练计划训练。\n- 在GA-MPJPE、FA-MPJPE、ACC-NORM三项轨迹指标上，HaPTIC在所有数据集上均位列前二，如ARCTIC-EXO上GA-MPJPE为1.88cm，显著优于Weak2Full基线的7.88cm。\n- 消融实验证实各设计贡献：移除跨视图自注意力使全局轨迹最差（GA-MPJPE从1.83升至2.82），移除全局交叉注意力降低轨迹平滑度，不混合图像数据则因视频数据外观多样性不足而泛化变差。\n- 测试时优化实验表明HaPTIC学到的运动先验提供更优初始化（优化后GA-MPJPE为2.28），而优化虽能平滑其他基线轨迹却难以纠正全局误差。\n- 作为单图像姿态估计器，HaPTIC在HInt基准的2D对齐上超过HaMeR等最先进方法（如New Days @0.05达48.6），遮挡子集上优势更明显，得益于全局CA层捕获的整帧上下文。\n- 方法假设存在可靠的2D手部跟踪系统，且当前在相机坐标系而非世界坐标系中推断轨迹；作者推测引入更多自我中心视频数据可进一步提升性能。"
}