{
  "paper_id": "926cd87e68be30c3a78a9e681a2ee410",
  "paper_title": "Spatial-Temporal Parallel Transformer for Arm-Hand Dynamic Estimation",
  "paper_authors": [
    "Shuying Liu",
    "Wenbin Wu",
    "Jiaxian Wu",
    "Yue Lin"
  ],
  "publication_date": "",
  "publication_venue": "2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)",
  "abstract": "We propose an approach to estimate arm and hand dynamics from monocular video by utilizing the relationship between arm and hand. Although monocular full human motion capture technologies have made great progress in recent years, recovering accurate and plausible arm twists and hand gestures from in-the-wild videos still remains a challenge. To solve this problem, our solution is proposed based on the fact that arm poses and hand gestures are highly correlated in most real situations. To fully exploit arm-hand correlation as well as inter-frame information, we carefully design a Spatial-Temporal Parallel Arm-Hand Motion Transformer (PAHMT) to predict the arm and hand dynamics simultaneously. We also introduce new losses to encourage the estimations to be smooth and accurate. Besides, we collect a motion capture dataset including 200K frames of hand gestures and use this data to train our model. By integrating a 2D hand pose estimation model and a 3D human pose estimation model, the proposed method can produce plausible arm and hand dynamics from monocular video. Extensive evaluations demonstrate that the proposed method has advantages over previous state-of-the-art approaches and shows robustness under various challenging conditions.",
  "keywords": [
    "arm-hand dynamics",
    "monocular video",
    "transformer",
    "motion capture",
    "hand pose estimation",
    "body pose estimation",
    "spatial-temporal"
  ],
  "paper_institutions": [
    "NetEase Games AI Lab, Guangzhou, China"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:32:55.954163Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文解决从单目视频中恢复准确且合理的手臂扭转与手部姿态这一难题。尽管单目全身动作捕捉技术近年来进展显著，但现有方法大多将身体动作捕捉与手势估计视为两个独立任务（如Zhou等仅在2D/3D关键点预测中利用身体-手部相关性，Ng等的Body2Hands局限于对话手势域且无法产生手臂动作），忽略了手臂与手部的高度相关性，导致遮挡、运动模糊等挑战场景下预测不准。基于手臂姿态与手势在多数真实情况下高度相关这一事实，作者提出时空并行手臂-手部动作Transformer（PAHMT）同时预测手臂与手部动力学：系统将任务解耦为关键点估计模块（基于MobileNetV3的轻量2D手部关键点检测器与在AMASS上训练的VPose3D 3D人体关键点估计器）与旋转估计模块，后者由空间Transformer（提取手臂-手部全局相关性及关节间局部相关性，并引入类似ViT分类token的可学习\"回归token\"）与时间Transformer（利用帧间信息）并行组成，核心融合机制为 y = RegressionHead(z_{t,L_t} + z^0_{s,L_s})，即时间特征与空间回归token特征逐元素相加后由回归头输出旋转。训练目标包含L1重建损失、平滑损失（帧间差正则）、FK损失（经前向运动学计算关节位置的L2损失）与GAN损失，整体为 min_R max_D L_recon(R) + λL_GAN(R,D)，其中λ、β、γ分别设为0.05、1.0、1.0。由于现有公开数据集中身体与手部动作总是分开采集，作者自采了500段序列共20万帧（以舞蹈和运动为主，覆盖大量手臂动作与手势风格）的动作捕捉数据集并按90%/10%划分训练/测试集，另构建1万帧重定向至MIXAMO角色的渲染数据集模拟野外场景，并在Body2Hands发布的8位演讲者野外数据集上对比。评估采用总体MPJPE、手部MPJPE与手臂MPJRE三项指标：消融实验表明利用手臂-手部相关性（ah2ah优于h2h）、时间Transformer（较CNN误差降低23%）与空间Transformer（较AHMT的MPJPE再降13%、MPJRE降16%）及FK损失均带来正向提升；PAHMT在自采数据集上手部MPJPE达0.0087，在BH数据集上为0.0281（优于Body2Hands各版本的0.0346–0.0422），在渲染数据集上总体MPJPE为0.1375、手臂MPJRE为0.1614，显著优于FrankMocap（0.1556/0.2779）与ExPose（0.1530/0.2984），验证了并行时空架构与相关性建模的有效性。未来方向包括利用更多身体部位的相关性进行高质量全身动力学估计以及利用不同身体部位标注的多样化数据集。该方法可服务于人机接口控制等真实场景，且与需要精确3D手部关键点、易产生抖动的全身逆运动学（FBIK）不同，仅需2D手部关键点即可产生平滑合理的估计，但约束在于训练需要同时包含身体动作与手势的动作捕捉数据。\n\n### 关键要点\n\n- 提出PAHMT（Spatial-Temporal Parallel Arm-Hand Motion Transformer），利用手臂-手部相关性及帧间信息，从单目视频同时估计手臂与手部动力学，克服了以往将身体捕捉与手势估计分离处理导致挑战场景下预测不准的问题。\n- 系统解耦为关键点估计模块（基于MobileNetV3的2D手部关键点检测器 + 基于AMASS训练的VPose3D 3D人体关键点估计器）与旋转估计模块，避免了直接学习图像到旋转映射所需的高昂配对数据成本。\n- 空间Transformer提取手臂-手部全局相关性与关节间局部相关性，引入类似ViT分类token的可学习\"回归token\"作为空间表示；时间Transformer利用帧间信息，二者特征逐元素相加后由回归头输出最终旋转。\n- 与全身逆运动学（FBIK）不同，该方法不需要3D手部关键点即可从视频输入产生平滑合理的估计，避免了不准确3D关键点导致的失真结果和逐帧IK过程带来的大幅抖动。\n- 训练目标包含L1重建损失、平滑损失（帧间差正则项）、FK损失（通过前向运动学计算关节位置的L2损失，强调父关节旋转的重要性）与GAN损失，权重λ、β、γ分别经验性设为0.05、1.0、1.0。\n- 自采动作捕捉数据集包含500段序列共20万帧，以舞蹈和运动动作为主，覆盖大量手臂动作与手势风格，按90%/10%划分训练/测试集，弥补了现有公开数据集中身体与手部动作分开采集的不足。\n- 另构建渲染数据集（1万帧全身动作捕捉数据重定向至MIXAMO的3个角色模型）模拟野外场景，并在Body2Hands发布的8位演讲者数小时野外视频数据集上对比，以弥补野外全身运动标注数据的缺乏。\n- 评估指标为总体MPJPE、手部MPJPE与手臂MPJRE；消融实验显示时间Transformer（AHMT）较CNN误差降低23%，PAHMT较AHMT的MPJPE再降13%、MPJRE降16%，FK损失对降低MPJPE和MPJRE均有优势。\n- 在BH数据集上PAHMT手部MPJPE为0.0281，优于Body2Hands各版本（0.0346–0.0422）；在渲染数据集上总体MPJPE为0.1375、手臂MPJRE为0.1614，显著优于FrankMocap（0.1556/0.2779）与ExPose（0.1530/0.2984）。\n- 野外视频视觉对比显示，在遮挡与运动模糊等挑战场景下，ExPose与FrankMocap均无法从模糊手部图像预测合理手势、也无法准确估计手臂旋转，而本方法产生最准确合理的结果。\n- 局限在于训练需要同时包含身体动作与手势的动作捕捉数据集；未来工作包括利用更多身体部位相关性进行高质量全身动力学估计，以及利用具有不同身体部位标注的多样化数据集。"
}