{
  "paper_id": "d19fea5cad060415f6509ea09bfd69f9",
  "paper_title": "Leveraging RGB Images for Pre-Training of Event-Based Hand Pose Estimation",
  "paper_authors": [
    "Ruicong Liu",
    "Takehiko Ohkawa",
    "Angela Yao",
    "Tze Ho Elden Tse",
    "Mingfang Zhang",
    "Yoichi Sato"
  ],
  "publication_date": "",
  "publication_venue": "unknown",
  "abstract": "本文提出 RPEP，首个利用有标注 RGB 图像与非配对、无标注事件数据进行事件相机三维手部姿态估计预训练的方法。事件数据具有高时间分辨率、低延迟等优势，但标注训练数据稀缺限制了其应用。为此，作者复用真实 RGB 数据集训练事件估计器，通过构建伪事件-RGB 对，使生成的事件数据与 RGB 图像的真值姿态对齐。现有伪事件生成技术假设物体静止，难以处理非平稳、动态运动的手；RPEP 提出新的生成策略，将手部运动分解为逐步的小运动，以捕捉关节运动的时间变化，为运动的手构建更真实的事件数据。此外，RPEP 施加运动反转约束，利用反向运动正则化事件生成。大量实验表明，预训练模型在真实事件数据上显著优于现有方法，在 EvRealHands 上最高取得 24% 的提升；在仅用少量标注样本微调时仍保持强性能，适合实际部署。\n",
  "keywords": [
    "事件相机手部姿态估计",
    "RGB 预训练",
    "伪事件生成",
    "迭代构建",
    "运动反转约束",
    "跨模态知识迁移"
  ],
  "paper_institutions": [
    "The University of Tokyo, Japan",
    "National University of Singapore, Singapore"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:27:47.329561Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对事件相机虽具备高时间分辨率、低延迟和高动态范围，却缺少带三维姿态标注的真实手部事件数据这一问题，本文提出首个利用有标注 RGB 图像与非配对、无标注事件数据进行预训练的 RPEP 方法。相关研究通常从单张 RGB 图像一次性生成伪事件，并隐含假设手部只发生刚性位姿变化，导致事件稀疏分布在静态边缘，无法表现真实传感器在手指和手掌关节区域记录到的密集非刚性运动。RPEP 使用 InterHand2.6M 的有标注 RGB 图像提供丰富姿态监督，并使用 EvRealHands 的无标注真实事件帧提供运动方向和轨迹先验，从而既复用 RGB 标注又缩小伪事件与真实事件之间的域差距。模型包含 RGB 外观特征提取器和事件特征提取器，事件特征进一步分为表示姿态的外观特征与表示运动信息的运动先验，并通过共享 MLP、对抗学习以及原始事件、RGB 和伪事件之间的特征对齐实现跨模态知识迁移。其核心迭代构建模块在经验设置 T=6 下，由解码器根据 f_rgb 与 z_ev 预测光流 v̂，每一步同时生成子伪事件并形变 RGB 图像，最终按 x_pev = floor(Σ_t ∇x_rgb^(t−1) · v̂^(t)) 累积所有子事件，从而模拟真实事件累积并捕捉动态关节变化；运动反转约束则使用 −v̂ 构造轨迹完全相反的事件，并通过最小化余弦相似度的发散损失促使运动先验符合真实物理方向。在 EvRealHands 的正常、强光和闪光场景，以及脚本化与非脚本化姿态划分上，方法采用 3D-MPJPE 和 PA-MPJPE 评估，经少量标注样本微调后在所有设置中均取得最低误差，正常场景相对提升约 24%、强光约 20%、闪光约 14%，并比 RPG-EV 最多降低约 8 mm，这些结果支持迭代伪事件构建和运动反转约束对提升真实事件泛化的作用；基于 EventHands 的合成预训练甚至不如不预训练，进一步说明合成数据与真实事件间存在显著域差距。该方法适合标注受限、光照变化和快速手部运动的实际部署，但性能仍依赖无标注事件中的运动先验质量、光流估计与伪事件真实感，且实验主要在 EvRealHands 上验证，未来可在更自然的非棚拍场景、更多手物交互、不同事件传感器以及更少标注条件下继续评估和改进。\n\n### 关键要点\n\n- RPEP 是首个面向事件三维手部姿态估计、利用有标注 RGB 图像和非配对无标注事件数据进行预训练的方法。\n- 训练输入不需要 RGB 与事件帧严格配对，也不需要事件数据带三维姿态标注，因此可降低事件标注成本。\n- RGB 提取器只提取外观特征，事件提取器同时提取表示姿态的外观特征和表示方向、轨迹的运动先验。\n- 方法通过共享 MLP、对抗学习以及 RGB、真实事件和伪事件特征之间的对齐来促进跨模态表征迁移。\n- 现有一次性伪事件生成方法隐含静止或刚性运动假设，生成事件多集中在静态边缘，难以表现手指关节运动。\n- RPEP 的迭代构建模块将时间窗口分为 T=6 步，每步预测光流、形变 RGB 图像并生成子伪事件，最后累积成更真实的伪事件帧。\n- 运动反转约束通过反向光流构造运动方向和轨迹相反的事件，并利用发散损失扩大正反运动先验之间的差异。\n- 预训练使用 InterHand2.6M 的有标注 RGB 数据和 EvRealHands 的无标注事件数据，微调时只使用 EvRealHands 的少量标注样本。\n- 实验覆盖正常、强光、闪光三种采集场景，并区分脚本化与非脚本化手部姿态，评价指标为 3D-MPJPE 和 PA-MPJPE。\n- RPEP 在所有场景和指标上均优于 SimCLR、Vid2E、CycleGAN、ADDA 和 RPG-EV 等方法，正常场景相对提升最高约 24%。\n- 在合成 EventHands 上预训练的效果甚至不如不预训练，表明合成事件与真实事件之间存在明显域差距。\n- 方法适合少标注实际部署，但其迁移效果受无标注事件运动先验、光流估计质量和伪事件真实感约束。"
}