{
  "paper_id": "eaa94bdd08d188242aebb1dba5069c3e",
  "paper_title": "TempCLR: Reconstructing Hands via Time-Coherent Contrastive Learning",
  "paper_authors": [
    "Andrea Ziani",
    "Zicong Fan",
    "Muhammed Kocabas",
    "Sammy Christen",
    "Otmar Hilliges"
  ],
  "publication_date": "2022",
  "publication_venue": "International Conference on 3D Vision (3DV)",
  "abstract": "本文提出 TempCLR，一种面向三维手部重建这一结构化回归任务的新型时间相干对比学习方法。与以往用于手部姿态估计的时间对比方法不同，该框架在增强方案中考虑时间一致性，并处理手部姿态沿时间方向的差异。该数据驱动方法利用无标注视频和标准 CNN，不依赖合成数据、伪标签或专用架构。在 HO-3D 和 FreiHAND 数据集上，该方法分别将全监督手部重建方法的 PA-V2V 误差降低 15.9% 和 7.6%，从而取得新的最优性能。本文还通过定量和定性结果表明，相比先前最优方法，TempCLR 能够随时间产生更平滑的手部重建结果，并对严重遮挡更鲁棒。代码和模型将公开。\n",
  "keywords": [
    "三维手部重建",
    "时间相干对比学习",
    "自监督学习",
    "无标注视频",
    "手部姿态估计",
    "手部形状恢复",
    "MANO",
    "严重遮挡",
    "时间一致性"
  ],
  "paper_institutions": [
    "ETH Zürich, Switzerland",
    "Max Planck Institute for Intelligent Systems, Tübingen"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:43:18.867810Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文解决单目 RGB 三维手部重建在野外场景和手物交互重度遮挡下预测结果时间不一致、高精度三维标注难以规模化的问题。现有全监督方法在实验室数据上表现良好，但泛化到无约束环境依赖大量同分布标注；弱监督或伪标签方法需要人工干预并可能引入标签噪声，普通时间对比学习又把非相邻帧一概视为负例，且逐帧独立几何增强会破坏连续帧之间的运动线索。为此提出 TempCLR，先用无标注单目视频进行时间相干对比预训练，再用标注数据微调标准 CNN 编码器与 MANO 解码器；在参考帧时间窗内选取正样本、窗外选取负样本，并以 NT-Xent 目标 `L_i=-∑_{x_j∈P_i} log(exp(sim(z_i,z_j)/τ)/∑_{x_k∈N_i} exp(sim(z_i,z_k)/τ))` 吸引时间接近且姿态相似的帧、排斥时间遥远且姿态差异大的帧。其核心创新一是对同一序列施加相同旋转、缩放、平移等几何变换，同时对每帧独立做外观变换，以保留时间完整性；二是概率采样，正样本概率随时间距离单调下降、负样本概率随距离上升，实验中线性采样效果最好。实验选用 HO-3D v2 验证重度手物遮挡且测试标签在线保留，FreiHAND 用于有标注微调并检验手部姿态与形状，HanCo 提供约 86 万帧无三维标注的多视角短剪辑并作为单目视频预训练，100 Days Of Hands 的 10 个视频约 8.6 万帧用于检验野外数据增益；这种设置避免合成数据和伪标签，并验证模型在遮挡、跨域和少标注条件下的能力。实现采用 ResNet18/50、224×224 输入，预训练使用 Adam、批大小 2048、学习率 4.5e-3、训练 50 轮，微调使用 Adam、批大小 128、学习率 5e-4，时间窗约为帧率一半，即 HO-3D/100DOH 为 15、HanCo 为 5。在 PA-V2V、PA/RA/STA-EPE、F@5mm/F@15mm 和加速度误差等指标上，TempCLR 相对全监督基线在 HO-3D 将 PA-V2V 和 PA-EPE 降低 15.9%，加入 100DOH 后 PA-V2V 达 10.0mm；在 FreiHAND 上 ResNet18 的 PA-V2V 降低 7.6%、RA-V2V 降低 30.4%，ResNet50 的 PA-V2V 降低 5.5%、RA-V2V 降低 30.4%，并达到新的最优水平；加速度误差从 54.11 降至 45.37 mm/s²，跨数据集 RA-EPE/STA-EPE 较基线改善约 19%，仅用约 20% 标注帧即可接近密集标注性能，支持时间一致性增强主要提升精度、概率采样增强时间稳定性的结论。该方法适用于人机交互、增强现实、虚拟现实、机器人和动作生成等需要平滑手部跟踪的场景，主要约束是依赖包含手部运动的单目视频、时间窗需匹配帧率和运动速度、极端失败案例仍需后续研究；未来可利用光流检测序列变化并设计自适应窗口，进一步探索长时依赖和野外域迁移。\n\n### 关键要点\n\n- TempCLR 采用“无标注视频对比预训练 + 标注数据监督微调”的两阶段流程，编码器先学习时间相干特征，再接入手部重建网络。\n- 时间相干增强对同一段视频的所有帧使用相同随机旋转、缩放和平移，同时对每帧独立施加颜色等外观增强，避免几何变换破坏帧间运动线索。\n- 概率采样在参考帧时间窗内按距离单调递减概率选择正样本，在窗外按距离递增概率选择负样本，使训练更关注吸引近邻帧和排斥远端帧；线性采样优于指数和 Tanh 采样。\n- 预训练使用 NT-Xent 损失和余弦相似度，温度系数 τ 控制嵌入分布，目标是拉近相邻相似帧、推远时序上遥远的差异帧。\n- 重建网络采用编码器-解码器结构，预测 MANO 的 16 个 6 维旋转参数、10 维形状参数和弱透视相机参数，并用 2D 重投影、3D 关节点及姿态形状损失进行微调。\n- 数据使用上，HO-3D v2 提供手物交互标注，FreiHAND 提供约 13 万训练样本及 2D/3D 标注，HanCo 提供约 86 万帧无三维标注视频，100DOH 子集提供约 8.6 万帧野外无标注帧。\n- 预训练主干为 ResNet，输入尺寸为 224×224，使用 Adam、批大小 2048、学习率 4.5e-3、训练 50 轮；微调时批大小为 128、学习率为 5e-4，直至验证集性能收敛。\n- 在 HO-3D 上，TempCLR 相对全监督基线将 PA-V2V/PA-EPE 降低 15.9%，加入 100DOH 后 PA-V2V 为 10.0mm、F@5mm 为 0.505，并可与使用伪标签的弱监督方法相当。\n- 在 FreiHAND 上，ResNet18 版本 PA-V2V 为 10.9mm、RA-V2V 为 25.05mm，较基线分别改善 7.6% 和 30.4%；ResNet50 版本 PA-V2V 为 10.2mm、RA-V2V 为 21.68mm。\n- 时间稳定性消融显示完整 TempCLR 的加速度误差为 45.37 mm/s²，低于基线的 54.11 mm/s²；去掉一致增强或概率采样都会使姿态误差或加速度变差。\n- 跨数据集评估中，HO-3D 与 FreiHAND 互测的 RA-EPE 或 STA-EPE 较基线改善约 19%；在 5% 至 40% 标注帧范围内预训练均有效，约 20% 标注帧即可接近更密集标注的效果。\n- 方法面向手物抓取和重度遮挡场景，可用于人机交互、AR/VR、机器人和动作生成，但要求视频包含可利用的时间相关性，且固定时间窗未必适应不同运动变化。"
}