{
  "paper_id": "76b07f3ab0d79a4752c59687919c4897",
  "paper_title": "SeqHAND: RGB-Sequence-Based 3D Hand Pose and Shape Estimation",
  "paper_authors": [
    "John Yang",
    "Hyung Jin Chang",
    "Seungeui Lee",
    "Nojun Kwak"
  ],
  "publication_date": "",
  "publication_venue": "Computer Vision -- ECCV 2020",
  "abstract": "3D hand pose estimation based on RGB images has been studied for a long time. Most of the studies, however, have performed frame-by-frame estimation based on independent static images. In this paper, we attempt to not only consider the appearance of a hand but incorporate the temporal movement information of a hand in motion into the learning framework for better 3D hand pose estimation performance, which leads to the necessity of a large scale dataset with sequential RGB hand images. We propose a novel method that generates a synthetic dataset that mimics natural human hand movements by re-engineering annotations of an extant static hand pose dataset into pose-flows. With the generated dataset, we train a newly proposed recurrent framework, exploiting visuo-temporal features from sequential images of synthetic hands in motion and emphasizing temporal smoothness of estimations with a temporal consistency constraint. Our novel training strategy of detaching the recurrent layer of the framework during domain finetuning from synthetic to real allows preservation of the visuo-temporal features learned from sequential synthetic hand images. Hand poses that are sequentially estimated consequently produce natural and smooth hand movements which lead to more robust estimations. We show that utilizing temporal information for 3D hand pose estimation significantly enhances general pose estimations by outperforming state-of-the-art methods in experiments on hand pose estimation benchmarks.",
  "keywords": [
    "3D Hand Pose Estimations",
    "Pose-flow Generation",
    "Synthetic-to-real domain gap reduction",
    "Synthetic hand motion dataset",
    "Scarcity of sequential RGB real hand image dataset"
  ],
  "paper_institutions": [
    "Seoul National University",
    "University of Birmingham"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:40:02.718651Z",
  "template_tag": "simple",
  "summary": "### 摘要\n本文针对基于RGB图像的3D手部姿态估计中长期以逐帧独立静态图像为主、忽略手部运动时序信息的问题，提出将手部运动的时间信息与外观信息共同纳入学习框架；由于时序信息利用此前主要见于深度图像方法，且大规模序列RGB手部图像数据集一直缺失，作者提出SeqHAND数据集生成方法，将BigHand2.2M静态姿态标注重构为\"姿态流\"——其核心机制为按公式 P_updated = P_{k-1} − (α/n)(P_{k-1} − P_final^BH) 随机更新中间姿态，并从BH标注中选取欧氏距离最近的真实姿态作为当前帧——从而生成模拟自然手部运动的序列合成RGB图像（共410k帧，涵盖第三人称与自我中心视角）；基于该数据训练SeqHAND-Net，其在ResNet-50编码器输出26维参数（姿态θ、形状β、尺度s、平移t、旋转r）的基础上于末端层前加入ConvLSTM层，从图像空间直接提取视觉-时序特征并映射到3D空间（依托MANO手部模型 M(θ,β)=W(T(θ,β,T̄),J(β),θ,ω)），并以时间一致性损失 L_temp = ||β_{t-1}−β_t||² + λ_temp^θ||θ_{t-1}−θ_t||² 强调估计的时序平滑；训练采用合成到真实的域迁移策略，在STB与FreiHand真实数据上微调时分离ConvLSTM层、仅微调低层图像特征，以保留从序列合成图像学到的视觉-时序特征；实验设置上，SeqHAND预训练使用40,000个训练序列与1,000个测试序列（每个10帧、224×224），真实域微调使用STB（18,000帧、6种光照与背景）与FreiHand（130,240样本）数据集，分别验证了时序特征学习与真实域适应能力；以3D-PCK、AUC与平均3D关节误差为指标，方法在STB（9.87mm，AUC 0.978）、EgoDexter（17.16mm，AUC 0.766）与Dexter+Object（18.12mm，AUC 0.843）基准上优于现有RGB方法，尤其在重度遮挡的DO数据集上显著领先，验证了时序信息利用、姿态流数据生成与ConvLSTM分离微调策略的有效性；未来工作计划更鲁棒地解决（自）遮挡问题；该技术可应用于AR/VR、人机交互与手势跟踪等现实场景，但受限于需要序列RGB输入、合成数据缺乏真实遮挡多样性以及依赖手部检测器提供裁剪图像。\n\n### 关键要点\n- 提出SeqHAND数据集：首个提供序列RGB手部图像帧与稳定标注的3D手部姿态估计数据集（410k帧），同时覆盖第三人称与自我中心视角，缓解了序列RGB手部数据稀缺对时序特征利用的限制。\n- 姿态流生成方法从BigHand2.2M（220万深度图、10名真实受试者、2小时手部运动）中随机选取初始与终止姿态，中间姿态按α/n步长随机更新并选取BH中欧氏距离最近的真实姿态，保证姿态变化的真实性与自然性。\n- SeqHAND-Net在ResNet-50编码器基础上于最后层前加入ConvLSTM层，将手部运动动态嵌入最高层潜在空间，输出26维向量（θ∈R^10、β∈R^10、s、t∈R^2、r∈R^3，旋转经Rodrigues公式转为矩阵）。\n- 消融实验显示Encoder+ConvLSTM结构在SeqHAND验证集上优于I3D、MFNet与LSTM等候选结构（3D AUC 0.986、平均3D误差7.18mm），验证了框架选择的合理性。\n- 域适应训练策略：从合成到真实域微调时分离ConvLSTM层，仅微调Encoder与MLP低层图像特征，将每个静态真实样本视为单帧序列，从而保留预训练学到的视觉-时序特征并避免灾难性遗忘。\n- 训练目标组合了2D关节L1回归损失、3D关节/网格L2损失、手部掩码拟合损失、时间一致性损失（λ_temp^θ=0.01）与相机参数回归损失，权重设为λ_2D=5、λ_3D=100、λ_temp=100、λ_cam=1、λ_mask=10。\n- 数据与实验设置：SeqHAND预训练使用40,000个训练序列与1,000个测试序列（每个10帧、224×224）；真实域微调使用STB（18,000帧、6种光照背景）与FreiHand（130,240样本、4种背景）数据集，手部定位采用MobileNet+SSD检测器提供裁剪输入。\n- 评估结果：在STB上平均3D误差9.87mm（AUC 0.978）、EgoDexter上17.16mm（AUC 0.766）、Dexter+Object上18.12mm（AUC 0.843），均优于Boukhayma等、Spurr等与Zimmermann等对比方法。\n- 在重度遮挡的Dexter+Object数据集上显著优于其他方法，证明姿态流连续性学习增强了对遮挡的鲁棒性；定性结果显示形状参数时间变化差为4.16e-11（逐帧估计器为2.38e-5）、姿态参数差为1.88e-6（对比6.90e-6），估计更平滑自然。\n- 该方法是首个不依赖外部2D姿态估计器、直接从序列RGB图像利用时序信息的深度学习3D手部姿态与形状估计器。\n- 约束与局限：SeqHAND合成数据除自遮挡外不含遮挡（通过FreiHand的遮挡增强部分弥补）；网络评估需要序列RGB输入；时间约束惩罚序列估计间的大差异，在STB上逐帧估计略优，存在时序平滑与单帧精度间的权衡。\n- 应用场景包括AR/VR、人机交互与手势跟踪；未来方向为更鲁棒地处理（自）遮挡问题。"
}