# 利用RGB图像预训练基于事件的手部姿态估计模型 刘瑞聪 $^{1,2}$ 大川武彦 $^{1}$ 姚 Angela $^{2}$ 谢子豪 $^{2}$ 张明芳 $^{1}$ 佐藤洋一 $^{1}$ $^{1}$ 日本东京大学 $^{2}$ 新加坡国立大学，新加坡 ## 摘要 本文提出了RPEP，这是首个利用标注好的RGB图像和未配对、无标注的事件数据来预训练基于事件的三维手部姿态估计模型的方法。事件数据具有高时间分辨率和低延迟等显著优势，但其在手部姿态估计领域的应用仍受限于标注训练数据的稀缺。为解决这一问题，我们重新利用真实的RGB数据集来训练基于事件的估计器。具体做法是构建伪事件-RGB配对数据，其中事件数据是根据RGB图像的真实姿态生成并与之对齐的。遗憾的是，现有的伪事件生成技术假设物体是静止的，因此难以处理非静止、动态移动的手部。为克服这一难题，RPEP提出了一种新颖的生成策略，将手部运动分解为更小的、逐步进行的动作。这种分解方式使我们的方法能够捕捉关节运动的时间变化，从而为移动的手部构建更逼真的事件数据。此外，RPEP还引入了运动反转约束，利用反向运动来规范事件生成过程。大量实验表明，我们预训练的模型在真实事件数据上的表现显著优于现有最先进方法，在EvRealHands数据集上的性能提升高达24%。而且，它在微调阶段仅需少量标注样本就能展现出强劲的性能，因此非常适合实际部署。 ### 1. 引言 利用RGB图像捕捉三维手部姿态已有广泛研究[2, 5, 13, 15–17, 23, 24]，但在宽亮度变化、复杂光照以及手部快速运动等挑战性条件下，其表现仍不尽如人意 [^7] [^14]。事件相机 [^8] 是RGB相机的替代方案，能够异步捕捉每个像素的强度变化。它们可以记录高动态范围的图像，且帧率极高（延迟低至 $1\,\mu s$ ）[6, 9, 18–20, 25]。 尽管具有诸多优势，但包含真实事件数据的数据集 ![Image](images/474a76f1bbc856c64058ae791573c29b5137bc5b5e0646195001642f9abb17b0.jpg)
Figure 1. We propose a pre-training method for event-based hand pose estimation using labeled RGB images and unpaired, unlabeled event data. At the core of our approach is an iterative construction module that generates a pseudo-event frame for each input RGB image, forming pseudo RGB-event pairs that reflect dynamic hand movements.
用于三维手部姿态估计的此类数据集十分稀缺，原因在于标注工作难度较大。与RGB图像不同，事件数据缺乏纹理信息，因此很难标注出准确的三维手部姿态。EvRealHand数据集 [^6] 是首个也是唯一一个提供标注好的真实手部事件数据的大规模数据集。虽然它提供了带有三维手部标注的事件流，但严重依赖配备同步多摄像头RGB传感器和事件传感器的复杂采集设备。这种对工作室式采集设备的依赖限制了数据的多样性和真实性。 由于缺乏事件数据集，我们提出了名为RPEP的方法（见图1）：利用RGB图像进行基于事件的手部姿态估计预训练，从而减少对事件标注的依赖。为了从RGB图像中学习基于事件的模型，以往的研究[^11] [^21]会构建伪配对的RGB-事件数据。在此过程中，生成的伪事件帧会与RGB图像的真实姿态对齐。这种对齐方式使得我们能够利用RGB图像中的真实手部姿态标注。 --- ![Image](images/bf1459bc9d8052ba6ba8926f261877abc963cba6315a73091093e5059f9ebf55.jpg)
Figure 2. Comparison of (a) RGB-event pair construction of previous methods [^4] [^11], (b) real event camera's capture process, and (c) our construction method for hands.
以此训练基于事件的估计器。然而，现有的构建RGB-事件对算法[^4] [^11]并不适用于手部数据，因为其重建质量较差。如图2(a)所示，以往的方法生成的事件帧仅沿图像边缘稀疏分布。相比之下，图2(b)中的真实事件帧在手指区域呈现更密集的分布，因为手指关节活动会自然触发事件。这种事件分布的差异导致了真实数据与构造数据之间的巨大域差距，进而阻碍学习过程并降低模型在真实环境中的泛化能力。 这种较差的构建质量源于现有算法所依据的静态假设。如图2(a)所示，先前的方法[^4] [^11]仅从单个RGB帧中生成一次伪事件。这种一次性构建隐含地假设手部在帧k与帧$k+1$之间仅发生刚性姿态变化（即平移和旋转），从而忽略了非刚性关节活动——这类活动会在该区间内产生额外事件。因此，构造出的事件仅出现在静态的图像边缘。相比之下，由于事件相机具有高时间分辨率，真实传感器能在帧k到$k+1$期间捕捉到密集得多的关节活动，如图2(b)所示。这些事件分布在手指运动、手掌等关节活动区域，覆盖了所有运动部位。 为了构建更逼真的伪事件数据，我们将原有的一次性构建重新定义为模拟真实事件累积过程的方式，如图2(c)所示。从单一帧k出发，我们的方法通过图像变形生成多个中间RGB帧，以模拟关节活动引起的图像变化。针对每个RGB帧，我们再执行一次性构建[^4] [^11]以生成对应的伪事件帧。随着时间的推移，最终的伪事件帧便是通过累积所有先前的伪事件帧而得到的。与以往的方法[^4] [^11]不同，我们的构建过程允许手部发生关节活动，从而能更真实地模拟事件累积过程。 为实现上述过程，我们设计了一个迭代式构建模块，将事件累积分为T次迭代。在每次迭代中，该模块会生成光流图，用于1）变形RGB图像，以及2）构建伪事件帧。随着过程的推进，图像不断变化，最终生成的事件数据便能捕捉到动态关节活动。为了估算光流图，我们以RGB图像和未配对的、无标签的事件帧作为输入。具体而言，我们提取1）RGB输入的视觉外观特征，以及2）来自事件输入的运动先验信息，如运动方向和轨迹。这些运动先验提供了必要的运动信息，从而使静态的RGB手部图像能够“活动”起来。随后，外观特征与运动先验会被送入解码器以估算光流图。 此外，RPEP提出了一种新颖的运动反转约束，以确保运动先验的语义正确性。换句话说，它确保运动先验能够真正反映诸如物体运动方向和轨迹等信息。从构建的伪事件帧出发，我们创建一个运动方向与轨迹完全相反的反转帧。随后，我们的方法会最大化伪事件帧与反转帧之间运动先验的差异。这一约束确保了提取出的运动先验与物理运动规律的一致性。 我们使用EvRealHands数据集[^6]作为评估对象，在多种具有挑战性的场景（如闪光和强光环境）下对我们的方法进行评估。大量的实验结果表明，与现有的迁移学习[^3] [^11] [^22] [^26]及预训练[^1]方法相比，我们的方法性能更优。与这些方法相比，RPEP在正常场景下的相对提升率为24%，在强光场景下为20%，在闪光场景下为14%。 --- ![Image](images/b108fcddd76f951957cd1ef3e305e24fdb30e395f8ea0866676ad557698b4c22.jpg)
Figure 3. Overview of the proposed method, where labeled RGB images and unpaired, unlabeled event frames serve as inputs for training. (a) Feature extractors, $\mathcal{F}_{rgh}$ and $\mathcal{F}_{ev}$, extract features from their respective inputs. (b) Our iterative construction module constructs pseudo-event frames from these features, which are then fed into $\mathcal{F}_{ev}$ for feature alignment. The features $\mathbf{f}_{rgb}$, $\mathbf{f}_{ev}$, and $\mathbf{f}_{pev}$ are all aligned to the same feature space. (c) Illustration of the iterative construction process. Event frames from all iterations are accumulated together to get the final pseudo-event frame.
### 2. 所提出的方法 我们提出了RPEP，这是一种利用RGB图像进行基于事件的手部姿态估计的新型预训练方法。我们的目标是学习一个基于事件的手部姿态估计器$\mathcal{H} = \mathcal{F}_{\mathrm{ev}} \circ \mathcal{P}$，它由特征提取器$\mathcal{F}_{\mathrm{ev}}$和多层感知机（MLP）$\mathcal{P}$组成。 如图3(a)所示，我们的方法采用了两个特征提取器：RGB提取器$\mathcal{F}_{\mathrm{rgb}}$和事件提取器$\mathcal{F}_{\mathrm{ev}}$。它们分别处理未配对的输入，即RGB图像$\mathbf{x}_{\mathrm{rgb}} \in \mathbb{R}^{H \times W \times 3}$和事件帧$\mathbf{x}_{\mathrm{ev}} \in \mathbb{R}^{H \times W \times 2}$（事件直方图[^10]）。我们设计$\mathcal{F}_{\mathrm{ev}}$来从$\mathbf{x}_{\mathrm{ev}}$中提取以下两种特征：1）外观特征$\mathbf{f}_{\mathrm{ev}}$用于表征手部姿态；2）运动先验$\mathbf{z}_{\mathrm{ev}}$用于表征运动方向和轨迹。RGB提取器$\mathcal{F}_{\mathrm{rgb}}$仅从$\mathbf{f}_{\mathrm{rgb}}$中提取外观特征$\mathbf{x}_{\mathrm{rgb}}$，因为手部图像是静止的，不包含运动信息。随后将$\mathbf{x}_{\mathrm{rgb}}$和$\mathbf{z}_{\mathrm{ev}}$结合起来，输入到我们的迭代构建模块中，以构建伪事件帧$\mathbf{x}_{\mathrm{pev}}$。 特征对齐。为了实现跨模态的有效知识传递和表征共享，MLP$\mathcal{P}$在RGB和事件任务中被共享使用。这促使提取出的特征$f_{ev}$和$f_{rgb}$在同一潜空间中对齐。我们进一步采用对抗性学习来显式地对齐$f_{ev}$和$f_{rgb}$。此外，我们还将原始输入数据与构建的伪事件帧之间的特征进行对齐，即让$f_{rgb}$与$f_{pev}$对齐，让$z_{ev}$与$z_{pev}$对齐。 迭代式构建。为了模拟图2(c)中的过程，我们将时间窗口$\Delta\tau$划分为多次迭代，并开发了一个迭代式构建模块。在每次迭代t中，我们使用解码器$\mathcal{G}$来生成光流图$\hat{\mathbf{v}}^{(t)}$。其输入包含输入的RGB图像的外观特征以及输入事件帧的运动先验，即$\hat{\mathbf{v}} = \mathcal{G}(\mathbf{f}_{\mathrm{rgb}}, \mathbf{z}_{\mathrm{ev}})$。所估计的光流图$\hat{\mathbf{v}}^{(t)}$有两个用途：1）生成子伪事件帧$\mathbf{x}_{\mathrm{pev}}^{(t)}$；2）对RGB图像进行变形，以反映由关节运动引起的动态图像变化。经过T次迭代后，所有事件帧被累积起来形成最终的伪事件帧$\mathbf{x}_{\mathrm{pev}}$： $$ \mathbf{x}_{\mathrm{p e v}}=\sum_{t=1}^{T}\mathbf{x}_{\mathrm{p e v}}^{(t)}=\big\lfloor\sum_{t=1}^{T}\nabla\mathbf{x}_{\mathrm{r g b}}^{(t-1)}\cdot\hat{\mathbf{v}}^{(t)}\big\rfloor. $$ 通过这种方式，我们的构建过程能够适应RGB图像的变化，从而更真实地模拟事件累积过程。根据经验，我们设定$T = 6$。图4展示了每次迭代所构建的事件帧、光流图以及变形后的RGB图像。 运动反转约束 为了确保运动先验$\mathbf{z}_{\mathrm{ev}}$和$\mathbf{z}_{\mathrm{pev}}$能真实反映物理动力学特性，我们引入了运动反转约束。我们的方法会在从1到T的迭代过程中反转光流图$\hat{\mathbf{v}}^{(t)}$，从而生成反向事件$\mathbf{x}_{pev}^{(t)}$，公式如下： $$\mathbf{x^{\prime}_{p e v}}=\sum_{t=1}^{T}\mathbf{x^{\prime}_{p e v}}^{(t)}=\big\lfloor\sum_{t=1}^{T}\nabla\mathbf{x}^{(t+1)}_{\mathrm{r g b}}\cdot-\hat{\mathbf{v}}^{(t)}\big\rfloor.$$ 在此，我们利用$-\hat{\mathbf{v}}^{(t)}$来反转运动方向，并且 ---
Table 1. Comparison with state-of-the-art methods. The evaluation set EvRealHands [^6] is separated according to collection scenarios: "Normal", "Strong light", and "Flash". Within each scenario, samples are further divided into "Scripted" and "Unscripted" hand poses.
MethodMetricsNormalStrong lightFlash
ScriptedUnscriptedScriptedUncriptedScriptedUncripted
Baselinew/o pre-train3D-MPJPE27.9849.1231.9552.9436.2051.53
PA-MPJPE13.3817.9516.9619.3615.0422.29
Synthetic [^18]3D-MPJPE37.0456.7737.7656.7337.3357.70
PA-MPJPE18.7820.0920.4720.6017.4225.76
Main resultsSimCLR [^1]3D-MPJPE32.7252.4930.9453.9041.2858.04
PA-MPJPE13.9217.1416.4117.8815.4022.95
Vid2E [^3]3D-MPJPE25.9244.5926.8347.4733.8151.39
PA-MPJPE13.3216.8915.1718.9414.7220.80
CycleGAN [^26]3D-MPJPE24.3246.7828.5750.6531.2751.03
PA-MPJPE13.1316.3415.9518.0815.0821.98
ADDA [^22]3D-MPJPE25.7945.8031.0651.0234.2549.17
PA-MPJPE13.3216.3516.4118.2815.2722.09
RPG-EV [^11]3D-MPJPE29.5147.8134.3453.1934.1551.59
PA-MPJPE15.5116.8918.0518.5816.5622.61
RPEP (Ours)3D-MPJPE21.2639.9126.0844.2830.9748.55
PA-MPJPE12.1115.4514.4717.8514.0620.11
![Image](images/2f99507ab4c1e07e068d83f89263a3171fda887dcfcf537e3b6e4ee3583e3337.jpg)
Figure 4. Constructed event frame, flow map, and RGB image from each iteration, with image changes caused by articulation highlighted in red rectangles.
通过采用来自后续迭代$\mathbf{x}_{p\mathrm{ev}}^{\prime(t+1)}$的$t+1$来反转轨迹。 由于$\mathbf{x}_{pev}^{\prime}$的运动方向和轨迹与$\mathbf{x}_{pev}$相反，它们的运动特征$\mathbf{z}_{pev}^{\prime}$和$\mathbf{z}_{pev}$应表现出较大的差异。因此，我们提出了一种发散损失$\mathcal{L}_{div}$来最小化它们之间的余弦相似度。 ### 3. 实验 在表1中，我们将我们的方法与最先进的方法进行了比较。在所有实验中，我们首先利用InterHand2.6M中的标注RGB数据[^12]和EvRealHands中的无标注事件数据[^6]来预训练基于事件的姿态估计器。然后，我们使用EvRealHands中的少量标注样本对预训练的估计器进行微调。 对比的方法包括：无监督预训练方法SimCLR [^1]；将RGB视频转换为事件表示的Vid2E [^3]和CycleGAN [^26]；域适应技术ADDA [^22]；以及利用标注RGB数据和无标注事件数据来训练基于事件网络的迁移学习方法RPG-EV [^11]。为了完整性，我们还纳入了两个基线：1）不经过任何预训练，直接对随机初始化的估计器进行微调；2）在合成事件数据集EventHands [^18]上进行预训练。 表1展示了微调后的结果，表明在各种光照条件下，我们的方法始终优于所有最先进的方法，且在每种情况下都取得了最低的MPJPE误差。有趣的是，“合成”设置下的表现甚至比“无预训练”基线还要差，这反映出合成事件数据与真实事件数据之间存在巨大的域差距。大多数其他基于RGB的预训练方法都优于基线，凸显了使用真实RGB数据进行预训练的优势。值得注意的是，我们的方法比RPG-EV的表现高出显著水平——误差降低了8毫米——这证明了我们的迭代式伪事件构建在提升估计性能方面的有效性。 ### 4. 结论 在本文中，我们提出了RPEP——一种利用RGB图像进行基于事件的3D手部姿态估计的新型预训练方法。RPEP的核心创新在于其迭代构建模块，该模块能够生成伪事件帧，从而有效适应手部的动态运动。此外，我们的方法还引入了运动反转约束来优化提取的运动先验，进而获得更好的构建效果。评估结果表明，RPEP的性能优于现有技术，在多种具有挑战性的场景中均取得了显著的性能提升。 --- ## 参考文献 [^1]: Ting Chen, Simon Kornblith, Mohammad Norouzi, and Geoffrey Hinton. A simple framework for contrastive learning of visual representations. In International conference on machine learning, pages 1597–1607. PmLR, 2020. 2,4 [^2]: Zicong Fan, Takehiko Ohkawa, Linlin Yang, Nie Lin, Zhishan Zhou, Shihao Zhou, Jiajun Liang, Zhong Gao, Xu-anyang Zhang, Xue Zhang, Fei Li, Zheng Liu, Feng Lu, Karim Abou Zeid, Bastian Leibe, Jeongwan On, Seungryul Baek, Aditya Prakash, Saurabh Gupta, Kun He, Yoichi Sato, Otmar Hilliges, Hyung Jin Chang, and Angela Yao. Benchmarks and challenges in pose estimation for egocentric hand interactions with objects. In Proceedings of the European Conference on Computer Vision (ECCV), pages 428–448, 2024. 1 [^3]: Daniel Gehrig, Mathias Gehrig, Javier Hidalgo-Carrió, and Davide Scaramuzza. Video to events: Recycling video datasets for event cameras. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 3586–3595, 2020. 2, 4 [^4]: Daniel Gehrig, Henri Rebecq, Guillermo Gallego, and Davide Scaramuzza. Eklt: Asynchronous photometric feature tracking using events and frames. International Journal of Computer Vision, 128(3):601–618, 2020. 2 [^5]: Markus Höll, Markus Oberweger, Clemens Arth, and Vincent Lepetit. Efficient physics-based implementation for realistic hand-object interaction in virtual reality. In 2018 IEEE conference on virtual reality and 3D user interfaces (VR), pages 175–182. IEEE, 2018. 1 [^6]: Jianping Jiang, Jiahe Li, Baowen Zhang, Xiaoming Deng, and Boxin Shi. Evhandpose: Event-based 3d hand pose estimation with sparse supervision. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2024. 1, 2, 4 [^7]: Jianping Jiang, Xinyu Zhou, Bingxuan Wang, Xiaoming Deng, Chao Xu, and Boxin Shi. Complementing event streams and rgb frames for hand mesh reconstruction. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 24944–24954, 2024. 1 [^8]: Patrick Lichtsteiner, Christoph Posch, and Tobi Delbruck. A $128 \times 128$ 120 db $15\mu$ s latency asynchronous temporal contrast vision sensor. IEEE journal of solid-state circuits, 43(2):566–576, 2008. 1 [^9]: Xianlei Long, Xiaxin Zhu, Fangming Guo, Chao Chen, Xiangwei Zhu, Fuqiang Gu, Songyu Yuan, and Chunlong Zhang. Spike-brgnet: Efficient and accurate event-based semantic segmentation with boundary region-guided spiking neural networks. IEEE Transactions on Circuits and Systems for Video Technology, 2024. 1 [^10]: Ana I Maqueda, Antonio Loquercio, Guillermo Gallego, Narciso García, and Davide Scaramuzza. Event-based vision meets deep learning on steering prediction for self-driving cars. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 5419–5427, 2018. 3 [^11]: Nico Messikommer, Daniel Gehrig, Mathias Gehrig, and Davide Scaramuzza. Bridging the gap between events and frames through unsupervised domain adaptation. IEEE 《机器人学与自动化快报》，第7卷第2期：3515–3522页，2022年。1、2、4 [^12]: Gyeongsik Moon, Shoou-I Yu, He Wen, Takaaki Shiratori, and Kyoung Mu Lee. Interhand2.6m: A dataset and baseline for 3d interacting hand pose estimation from a single rgb image. In Computer Vision–ECCV 2020: 16th European Conference, Glasgow, UK, August 23–28, 2020, Proceedings, Part XX 16, pages 548–564. Springer, 2020. 4 [^13]: Takehiko Ohkawa, Ryosuke Furuta, and Yoichi Sato. Efficient annotation and learning for 3D hand pose estimation: A survey. International Journal on Computer Vision (IJCV), 131:3193—3206, 2023. 1 [^14]: Joonkyu Park, Gyeongsik Moon, Weipeng Xu, Evan Kaseman, Takaaki Shiratori, and Kyoung Mu Lee. 3d hand sequence recovery from real blurry images and event stream. In European Conference on Computer Vision, pages 343–359. Springer, 2024. 1 [^15]: Vladimir I Pavlovic, Rajeev Sharma, and Thomas S. Huang. Visual interpretation of hand gestures for human-computer interaction: A review. IEEE Transactions on Pattern Analysis and Machine Intelligence, 19(7):677–695, 1997. [^16]: Thammathip Piumsomboon, Adrian Clark, Mark Billinghurst, and Andy Cockburn. User-defined gestures for augmented reality. In CHI'13 Extended Abstracts on Human Factors in Computing Systems, pages 955–960. 2013. [^17]: Siddharth S Rautaray and Anupam Agrawal. Vision based hand gesture recognition for human computer interaction: a survey. Artificial intelligence review, 43:1–54, 2015. 1 [^18]: Viktor Rudnev, Vladislav Golyanik, Jiayi Wang, Hans-Peter Seidel, Franziska Mueller, Mohamed Elgharib, and Christian Theobalt. Evenhands: Real-time neural 3d hand pose estimation from an event stream. In Proceedings of the IEEE/CVF international conference on computer vision, pages 12385–12395, 2021. 1, 4 [^19]: Chenyang Shi, Yuzhen Li, Ningfang Song, Boyi Wei, Yibo Zhang, Wenzhuo Li, and Jing Jin. Identifying light interference in event-based vision. IEEE Transactions on Circuits and Systems for Video Technology, 34(6):4800–4816, 2023. [^20]: Chenyang Shi, Boyi Wei, Xiucheng Wang, Hanxiao Liu, Yibo Zhang, Wenzhuo Li, Ningfang Song, and Jing Jin. Polarity-focused denoising for event cameras. IEEE Transactions on Circuits and Systems for Video Technology, 2024. 1 [^21]: Zhaoning Sun, Nico Messikommer, Daniel Gehrig, and Davide Scaramuzza. Ess: Learning event-based semantic segmentation from still images. In European Conference on Computer Vision, pages 341–357. Springer, 2022. 1 [^22]: Eric Tzeng, Judy Hoffman, Kate Saenko, and Trevor Darrell. Adversarial discriminative domain adaptation. In CVPR, 2017. 2, 4 [^23]: Christian Von Hardenberg and François Bérard. Bare-hand human-computer interaction. In Proceedings of the 2001 workshop on Perceptive user interfaces, pages 1–8, 2001. ## [^24]: Huilong Xie, Wenwei Song, and Wenxiong Kang. Learning an augmented rgb representation for dynamic hand gesture authentication. IEEE Transactions on Circuits and Systems for Video Technology, 2024. 1 --- [^25]: Xu Zheng and Lin Wang. Eventdance: Unsupervised source-free cross-modal adaptation for event-based object recognition. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 17448–17458, 2024. 1 [^26]: Jun-Yan Zhu, Taesung Park, Phillip Isola, and Alexei A. Efros. Unpaired image-to-image translation using cycle-consistent adversarial networks. In Proceedings of the IEEE International Conference on Computer Vision, pages 2223–2232, 2017. 2, 4