{
  "paper_id": "e63fa29daeca83f1f2273e2bf9948059",
  "paper_title": "Temporal-Aware Self-Supervised Learning for 3D Hand Pose and Mesh Estimation in Videos",
  "paper_authors": [
    "Liangjian Chen",
    "Shih-Yao Lin",
    "Yusheng Xie",
    "Yen-Yu Lin",
    "Xiaohui Xie"
  ],
  "publication_date": "",
  "publication_venue": "2021 IEEE Winter Conference on Applications of Computer Vision (WACV)",
  "abstract": "直接从RGB图像估计三维手部姿态颇具挑战，近年来通过使用带3D姿态标注的数据训练深度模型已取得稳步进展，但3D姿态标注困难，现有数据集数量少、规模有限。本文提出一种无需显式3D标注、仅利用2D信息从RGB图像训练三维姿态估计模型的新框架。其动机来自两点：视频比静态图像包含更丰富的三维估计信息；无论视频正序还是逆序观看，估计出的三维姿态都应保持一致。基于此，作者提出时间感知自监督网络TASSN，通过施加时间一致性约束，仅借助2D关键点位置标注即可从视频中学习三维手部姿态和网格。实验表明，该方法取得了出色效果，三维估计精度可与使用3D标注训练的前沿模型相当，体现了时间一致性对三维预测模型的约束价值。\n",
  "keywords": [
    "三维手部姿态估计",
    "手部网格估计",
    "自监督学习",
    "时间一致性",
    "RGB视频",
    "图卷积网络",
    "光流",
    "2D关键点"
  ],
  "paper_institutions": [
    "University of California, Irvine",
    "Tencent America",
    "Amazon",
    "National Chiao Tung University"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:17:24.558323Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对RGB图像三维手部姿态与网格估计严重依赖稀缺3D标注、单帧又存在深度歧义和关节高自由度问题，论文提出时间感知自监督网络TASSN，仅用2D关键点和视频时序信息完成训练。相关研究中，深度相机方法受硬件成本限制，RGB方法通常需要3D关节或网格标注，而现有网格模型还可能受MANO线性表达或3D网格标签不足制约；TASSN则利用正序与逆序推理在同一帧应给出相同姿态和网格的原理，将双向时间一致性作为替代3D监督的信号。其姿态与网格估计模块PME由FlowNet光流估计、两层堆叠Hourglass二维热图估计、基于Chebyshev谱图卷积的粗到细三维网格估计，以及由网格经两层GCN和全连接层回归三维姿态的估计器组成；为防止无3D网格真值时模型坍缩，方法还用GrabCut生成手部轮廓伪标签，并通过神经渲染比较预测网格轮廓。核心机制是时间一致性损失 L_c = λ^m L_c^m + λ^p L_c^p，其中姿态项和网格项分别最小化正序、逆序预测之间的逐帧F范数差异，总目标为 L = λ_s L_m + λ_h L_h + L_c。实验选用含真实手部视频和3D标注的STB与MHP数据集：STB的SK子集含6段、每段1500帧，按首段验证、其余训练划分；MHP含21段多视角视频，二者在主体、姿态和采集环境上的差异可验证跨数据集泛化，尤其MHP的适配和训练不使用目标3D标注。图像被裁剪并缩放至256×256，手部中心由掌心转换到腕关节；模型基于PyTorch，批大小24，初始学习率1e-5，在4块GeForce GTX 1080Ti上按热图训练、热图与网格联合微调、端到端微调三阶段训练，末阶段权重为λ_s=0.1、λ_h=1、λ^p=λ^m=10。评价采用AUC0-50、AUC20-50和平均端点误差EPE；完整TASSN在STB上达到0.773、0.972和11.3mm，在MHP上达到0.689、0.892和16.2mm，显著优于无时间一致性损失的版本，加入网格时间一致性也进一步提升精度。与使用3D标注的前沿方法相比，TASSN仍有较小差距，但在STB上可超过部分全监督方法，支持时间一致性和网格中间约束的有效性。未来可结合少量3D标注进行半监督增强；该技术适用于AR、VR、手语识别、人机交互、机器人和运动障碍监测等视频场景，但前提是输入包含相邻帧、2D位置与轮廓信号可靠，并且手部运动在正逆时序下满足预测一致性。\n\n### 关键要点\n\n- 论文提出TASSN，目标是在训练三维手部姿态和网格估计器时不使用显式3D关节或网格标注。\n- 方法的核心依据是双向时间一致性：同一段视频无论正序还是逆序推理，同一帧的手部姿态和网格都应相同。\n- PME模块包含光流估计器、2D关键点热图估计器、3D手部网格估计器和3D手部姿态估计器，输入为相邻两帧。\n- 光流由FlowNet计算，2D热图由堆叠Hourglass网络生成，网络还为三维网格和姿态估计提供图像特征。\n- 三维网格使用Chebyshev谱图卷积和粗到细的图上采样/下采样结构，姿态由预测网格经GCN池化和全连接层回归得到。\n- 为避免没有3D网格真值时任意时间一致网格都被接受，方法使用GrabCut得到轮廓伪标签，并通过神经渲染施加网格轮廓损失。\n- 时间一致性损失分别约束正序与逆序预测的3D姿态和3D网格，并由λ^m和λ^p加权组合。\n- 训练采用三阶段流程：先训练热图估计器，再联合微调热图和网格估计器，最后端到端微调全部模块。\n- STB数据集使用SK子集的6段视频，每段1500帧，第一段作验证，其余5段作训练。\n- MHP数据集包含21段手部运动视频及边界框、2D和3D关键点标注，两数据集图像均裁剪手部并缩放至256×256。\n- 消融实验显示，完整TASSN在STB上的AUC0-50、AUC20-50和EPE分别为0.773、0.972和11.3mm，在MHP上分别为0.689、0.892和16.2mm。\n- 与3D全监督前沿方法相比，TASSN性能差距较小，且在STB上可超过部分使用3D标注训练的方法，但其效果依赖视频时序、2D标注和轮廓质量。"
}