{
  "paper_id": "64082381d089ef78937d8b525ef77a52",
  "paper_title": "Prior-aware Dynamic Temporal Modeling Framework for Sequential 3D Hand Pose Estimation",
  "paper_authors": [
    "Pengfei Ren",
    "Jingyu Wang",
    "Haifeng Sun",
    "Qi Qi",
    "Xingyu Liu",
    "Menghao Zhang",
    "Lei Zhang",
    "Jing Wang",
    "Jianxin Liao"
  ],
  "publication_date": "",
  "publication_venue": "2025 IEEE/CVF International Conference on Computer Vision (ICCV)",
  "abstract": "3D手部姿态估计在各类人机交互任务中具有关键作用。单帧3D手部姿态估计方法时间平滑性较差，且容易受到自遮挡影响，严重限制其实用性。传统基于关节的序列姿态估计方法主要关注人体，难以应对手部复杂结构、手部运动高自由度以及运动趋势快速变化等问题。为此，本文提出一种面向序列3D手部姿态估计的先验感知动态时序建模框架。该框架引入灵活的记忆机制建模手部先验信息，以缓解单帧手部姿态估计中的尺度歧义和深度歧义；同时提出动态时序卷积模块，根据每个时刻的运动信息调整感受野大小和特征聚合权重，从而有效捕捉快速变化的运动趋势。通过在关节层级和手部层级解耦动态时序建模，方法能够同时捕捉细微短期变化和长期运动趋势，显著提升手部姿态估计的平滑性与准确率。在四个公开数据集上的实验表明，该方法在手部姿态估计精度和时间平滑性方面均达到当前最优水平。\n",
  "keywords": [
    "3D手部姿态估计",
    "序列姿态估计",
    "动态时序卷积",
    "手部先验记忆",
    "可变形卷积",
    "多头注意力",
    "时间平滑性",
    "人机交互"
  ],
  "paper_institutions": [
    "北京邮电大学网络与交换技术国家重点实验室"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:33:11.598440Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n单帧3D手部姿态估计在自遮挡、单目深度与尺度歧义下容易出现关节抖动和姿态突变，而已有基于关节的序列方法多面向长期稳定的人体运动，直接用于结构复杂、自由度高、局部与全局运动频繁耦合的手部时容易产生过平滑甚至修正失败。为此，本文提出先验感知的动态时序建模框架，以MotionBERT双分支时空Transformer为基础，其核心动态时序卷积可表示为 \\(\\hat{\\mathbf{x}}(p_0)=\\sum_{g=1}^{G}\\sum_{k=1}^{K}\\mathbf{w}_g\\mathbf{m}_{gk}\\mathbf{x}_g(p_0+p_k+\\Delta p_{gk})\\)，通过分组投影、调制标量和可学习偏移使每个关节在每个时刻具有自适应感受野与响应模式，偏移被约束在[-2,2]且调制标量不使用softmax。模型进一步将动态时序建模解耦为联合级和手部级：联合级模块捕捉手指关节的细微短期变化，手部级模块通过空间平均池化获取全局手部特征，并结合动态TCN与时序注意力捕捉前臂和腕部产生的长期趋势；可学习记忆token则利用全局时序特征经跨注意力更新，并作为额外token注入空间和时间注意力，为同序列中稳定的骨长与手形提供先验，缓解低质量初始姿态干扰。实验选择InterHand2.6M、Re:InterHand、HanCo和DexYCB，因为它们分别覆盖双手交互、重光照真实外观、真实多视角手部以及手物交互等丰富场景，可验证模型的泛化能力；实现基于PyTorch和单张NVIDIA 4090，采用AdamW、初始学习率1e-4、余弦衰减、50个epoch、batch size 64，默认N=5、h=8、C=512、k=8、T=27，并使用旋转、缩放、平移和水平翻转增强。评价采用根关节对齐并按真值骨长缩放的MPJPE与MPVPE，以及衡量预测与真值加速度差异的Accel；在InterHand2.6M上接入InterWild后MPJPE从10.32降至7.21 mm、Accel从7.18降至4.54，分别降低30.1%和36.8%，在Re:InterHand、HanCo和DexYCB上接入相应估计器后也分别获得4.86/5.03/3.84、7.3/7.4/5.6和8.42/8.43/7.51的结果，支持手部先验消歧与解耦动态时序融合的有效性。未来可进一步降低计算开销、增强严重遮挡和复杂手物交互下的鲁棒性，并面向VR、AR和自然人机交互等端侧场景开展部署验证；其主要约束包括手部高自由度、运动趋势高频变化、单目观测歧义以及精度与效率之间的权衡。\n\n### 关键要点\n\n- 该方法属于即插即用的姿态序列修正网络，输入为单帧估计器产生的3D手部关节序列，推理时不依赖原始图像，因此可搭配不同手部姿态估计器使用。\n- 手部先验记忆由一组可学习token组成，以全局时序特征为键和值进行多头跨注意力更新，并将记忆token注入空间和时间注意力，为不可见或不准确关节提供稳定手形约束。\n- 在InterHand2.6M的记忆策略消融中，8个记忆token取得7.21 mm MPJPE、7.39 mm MPVPE和4.54 mm/frame² Accel，优于1、4和16个token，且仅监督最终更新记忆效果更好。\n- 联合级动态时序卷积接在时序MHSA之后，因为高质量时序上下文能为偏移和调制权重预测提供消歧义信息；直接替换时序注意力或在注意力前插入卷积效果均较差。\n- 手部级模块先对所有关节做空间平均池化，再以全局动态TCN和全局时序注意力双分支建模腕部与前臂运动，并通过残差连接将全局特征补充回联合特征。\n- 模型同时回归帧级关节位置和MANO姿态参数，并由记忆token预测帧间共享的手形参数，再通过MANO生成网格顶点。\n- 训练损失包括关节、网格顶点、姿态参数和手形参数的smooth L1损失，以及用于增强时间一致性的加速度损失。\n- 四个数据集分工明确：InterHand2.6M测试复杂双手交互，Re:InterHand测试重光照真实外观，HanCo测试真实多视角场景，DexYCB测试手物抓取交互。\n- 消融实验显示三分支结构在InterHand2.6M上可达7.59 mm MPJPE，但会增加约30%计算量，因此默认采用性能与效率更均衡的动态双分支结构。\n- 与SOTA方法相比，该框架在InterHand2.6M、Re:InterHand、HanCo和DexYCB上同时降低位置误差和加速度误差，说明仅做平滑不足以保留手指细微运动，先验约束与动态时序融合更关键。\n- 方法适用于VR、AR和人机交互等需要稳定手部追踪的场景，但在实际部署中仍需考虑快速运动、自遮挡、双手互遮挡、手物遮挡以及计算资源限制。"
}