# EventHands：基于事件流的实时神经三维手部姿态估计
维克托·鲁德涅夫 $^{1}$ 弗拉迪斯拉夫·戈利亚尼克 $^{1}$ 王家一 $^{1}$ 汉斯-彼得·赛德尔 $^{1}$
弗朗西斯卡·穆勒 $^{2}$ 穆罕默德·埃尔加里布 $^{1}$ 克里斯蒂安·特奥博尔特 $^{1}$
$^{1}$MPI 计算机科学研究所，SIC $^{2}$Google 公司
Figure 1. Our EventHands approach estimates 3D hand poses from asynchronous event streams in real time (no greyscale or RGB images are used at any step of our method). We built a demo system with a DAVIS240C event camera (left) that runs one order of magnitude faster than image-based prior work on 3D hand reconstruction. EventHands leverages our new temporal event representation to reconstruct 3D hands in various challenging poses and moving at previously unseen speed (center). Our approach is trained on a large synthetic dataset (right) created by our new highly efficient GPU-based event camera simulator, but generalises well to real data.
## 摘要
从单目视频中进行三维手部姿态估计是一个由来已久且极具挑战性的问题，如今该领域正迎来蓬勃发展。在本研究中，我们首次利用单个事件相机——即一种对亮度变化做出响应的异步视觉传感器——来解决这一问题。我们的EventHands方法具备以往单个RGB相机或深度相机所不具备的特性，比如低数据吞吐量下的高时间分辨率，以及1000 Hz的实时性能。由于事件相机的数据模式与传统相机存在差异，现有方法无法直接应用于事件流，也无法针对事件流重新训练。因此，我们设计了一种全新的神经方法，该方法采用适合学习的新事件流表示形式，在全新生成的合成事件流上训练，进而能够泛化到真实数据。实验表明，EventHands在精度以及捕捉超高速手部运动的能力方面，均优于近期采用彩色（或深度）相机的单目方法。我们的方法、事件流模拟器和数据集均已公开提供（详见）。
### 1. 引言
事件相机是一种对事件——即传入亮度信号的局部变化——做出响应的视觉传感器。与以预设频率（如30–60帧/秒）拍摄图像的常规RGB相机不同，事件相机采用异步工作方式，因此能够实现极高的时钟频率和高达$1\mu s$的时间分辨率[^29]。凭借其独特的特性和高动态范围，事件相机已在低层视觉[^7] [^40] [^45] [^67]、低延迟机器人技术[^54] [^15]、视觉同步定位与建图（SLAM）[^63] [^24]、特征与物体跟踪[^2] [^34]、手势识别[^3] [^60]、实验物理学（粒子跟踪与测速）[^9] [^61]以及天文学[^13] [^74]等诸多领域得到应用。
在本研究中，我们聚焦于利用单个事件相机进行三维手部姿态回归。事件数据的高动态范围、低延迟和低吞吐量特性，比传统图像更适合用于跟踪常常处于快速运动中的手部。然而，由于事件相机产生的数据差异极大且不那么规则，现有的基于RGB或深度的方法[^10] [^68] [^31] [^36]无法直接应用于事件流。一种简单的方法是先以任意时间分辨率从事件流中重建灰度图像，然后再运行相同的方法。
---
单目方法[^6] [^10] [^68] [^71] [^41]正是基于这些原理。遗憾的是，这种策略会抵消事件相机的大部分优势，比如低数据带宽、对多种纹理和光照条件的适应性，以及更强的泛化能力。目前尚不清楚现有方法在从事件流重建的低分辨率灰度图像上的表现如何——因为事件流中常含有伪影，且由于事件阈值的随机性和噪声影响，无法精确还原实际的亮度[^7] [^14] [^47]。因此，核心研究问题是如何直接从事件流中重建并追踪三维手部模型。
本文采用基于学习的方法，提出了据我们所知首个利用单一事件流进行人手三维重建的技术（见图1）。我们的神经网路模型EventHands能够从局部归一化的事件表面（LNES）中回归出三维手部姿态——包括全局旋转、平移信息以及参数化手部模型的姿态参数[^46]。LNES是一种用于机器学习的新颖的事件累积方式。我们利用基于参数化手部模型的新一代高通量事件流模拟器来生成神经网络的训练数据[^46] [^41]。训练数据涵盖了不同的手部形状、纹理、光照条件及场景背景，能精准模拟真实事件相机的特性。正因如此，尽管EventHands仅用合成数据训练，却能对真实数据表现出良好的泛化能力。此外，EventHands的运行速度可达1 KHz，远超以往基于图像的方法。总而言之，我们的贡献如下：
- EventHands是首个能从单一事件流中估计三维手部姿态（包括三维旋转与平移）且运行速度达到1 KHz的方法。
- 我们开发了一款新一代高通量事件流模拟器，它支持参数化三维手部模型，可生成包含各种姿态、形状和纹理的数据，还能模拟多光源环境、可调的事件流属性（如事件阈值分布、噪声模式）以及更复杂的场景。
- 我们实现了该方法的实时演示版本，其在配备单块GPU的工作站上的运行速度比以往基于图像的方法快几个数量级。相关录制视频详见补充材料。
我们在真实数据和合成数据上对该方法进行了广泛测试，通过数值结果验证了设计思路的合理性，并与现有技术进行了对比。实验表明，即便在快速运动场景下传统基于RGB或深度的方法无法正常工作时，EventHands仍能给出精确的估计结果。
### 2. 相关工作
接下来我们将回顾三维手部重建和基于事件的视觉领域的相关研究。EventHands是首个基于事件流进行三维手部姿态估计的方法，与现有的基于RGB或深度的方法相比具有多项优势，具体将在下文阐述。
三维手部重建方法。目前绝大多数基于深度图像的三维手部重建研究[^56] [^38] [^58] [^18] [^35] [^28] [^16]以及单目RGB图像的研究[^73] [^11] [^53] [^36] [^65] [^52]，都是通过对稀疏的手部关节进行回归来实现重建。近期也有几项研究致力于实现手部的密集三维重建[^6] [^10] [^68] [^71] [^32] [^31] [^59] [^49] [^41]，其中一些研究采用了参数化的三维手部模型，例如用于描述姿态和形状的MANO模型[^46]，或用于描述纹理的HTML模型[^41]。Hampali等人[^20]提出了一种新的手部与物体交互方法基准测试集；该数据集随后被用于从RGB图像中估计三维手部姿态，具体做法是将MANO模型拟合到预测的二维手部关节上。Taylor等人[^55]提出了一种利用新研发的定制深度传感器进行手部追踪的方法；他们定制的深度相机支持180帧/秒的采集速率，这一速度远超普通深度相机（30–60帧/秒），但仍远不及事件相机的时序分辨率。
上述所有方法都无法直接应用于事件流数据。尽管可以从事件流中重建出强度图像和视频[^14] [^47]，但得到的灰度图像与现有手部重建技术所使用的数据存在显著差异，还可能出现特定领域的伪影。要弥合这一领域差异并非易事。另一方面，直接在事件流上操作具有数据带宽低、无需考虑RGB图像中的外观变化等优势。
基于事件的视觉技术。自从动态视觉传感器或事件相机问世以来，它们主要被应用于低层次和中层次的任务，例如从事件中恢复灰度图像[^40] [^67]、光流计算[^7] [^39]，或是特征检测与跟踪[^57] [^2] [^34]。在我们的研究背景下，值得关注的是SLAM方法[^63] [^62] [^66] [^24] [^70]，这类方法依赖稀疏刚性三维重建作为辅助任务来定位移动机器人；还有事件驱动的立体匹配技术[^48] [^42] [^69]，以及二维手势识别[^3] [^60]。为了将基于学习的方法应用于事件流，研究人员探讨了合适的输入表示形式，例如事件帧[^44]、事件计数图像[^33] [^72]、活跃事件表面（SAE）[^8]、时间面[^27]、时间面层级结构[^27]、平均时间面[^51]、排序时间面[^1]，以及可微事件脉冲张量[^19]等。我们的LNES表示法与SAE相关，但区别在于它采用窗口归一化时间单位来表示时间戳。关于事件表示的更详细讨论，请参阅Gallego等人的综述[^17]。
与我们研究相关的一项工作是EventCap[^64]，它利用事件与灰度图像的混合输入来在三维空间中追踪人体；该方法依赖于灰度锚定帧之间的事件对应关系，且假设已知骨骼结构以及…
---
带皮肤的人体模板。与人类身体相比，手部存在更多的自遮挡现象，这使得获取事件轨迹或进行基于图像的模型拟合变得十分困难。Nehvi等人[^37]提出了一种用于三维可变形物体跟踪的无监督学习方法，该方法将观测到的事件流与模拟的事件流相关联。不过，他们的方法需要精确的初始化，仅支持简单的手部运动，且运行速度远达不到实时要求。相比之下，我们训练了一个神经网络，使其能直接从适合学习的事件表示（LNES）中回归出复杂的三维手部姿态，从而使实时应用程序的运行速度比[^64]、[^37]快五个数量级。尽管目前已有通用的事件相机模拟器[^22]、[^25]、[^43]，但我们还是开发了一款专门针对手部的模拟器来生成训练数据。该模拟器的优势在于它将参数化手部模型紧密集成其中，能够即时生成逼真的纹理、姿态和形状样本。此外，它还针对高速数据生成进行了优化，并完美支持GPU加速。
总而言之，我们的EventHands方法进一步推动了从事件数据中实现非刚性物体的三维重建与跟踪这一尚未被充分探索的领域的发展。
### 3. 事件相机模型
虽然事件相机遵循将三维空间中的几何投影映射到二维图像平面的针孔相机模型，但事件相机的每个像素都会独立且异步地对观测到的对数亮度差异$\mathcal{L}(u,t)$做出响应。一个事件$e_i = (u_i, t_i, p_i)$是一个包含像素标识符$u_i$、触发时间$t_i$以及二进制极性标志$p_i \in \{-1,1\}$的三元组，该标志用于指示对数亮度是增加还是减少了某个绝对阈值$|C|$；也就是说，一旦满足以下两个条件之一，就会在时间$t_i$触发一个事件：
$$ \begin{cases}\mathcal{L}(u_{i},t_{i})-\mathcal{L}(u_{i},t_{p})=\quad C&(p=\quad1)\\\mathcal{L}(u_{i},t_{i})-\mathcal{L}(u_{i},t_{p})=-C&(p=-1)\end{cases}, $$
其中$t_p$是$u_i$处上一个事件的触发时间。我们在实验中使用的事件相机（DAVIS240C）能为$t_i$提供微秒级的精度。由于硬件方面的原因，C并非固定阈值，而是遵循阈值$\chi$的未知分布。不过在事件相机建模中，假设C等于$\chi$的期望值既方便又足够。此外，连接到每个传感器像素上的电容器可能会突然过载，从而导致虚假的噪声事件被记录下来。
### 4. 事件流模拟器与数据集
由于缺乏用于手部姿态估计的事件流数据集，加之难以从真实数据中获得精确的三维真值标注，我们构建了一个高效的事件流模拟器，用以生成带有标注的大规模合成事件流数据集。总共而言，我们生成了100小时的模拟事件数据，这些数据提供了$3.6 \cdot 10^8$个带有训练用真值标注的离散时间步。这使得我们的数据成为迄今为止用于研究目的的最庞大的事件流数据集之一。我们计划同时发布该数据集和模拟器。
#### 4.1. 场景建模
手部与手臂模型。我们的模拟器同时建模手臂和手部几何结构，因为仅建模手部会产生源自腕部接缝处的虚假事件。因此我们使用SMPL+H [^46]，即结合了手部模型MANO [^46]与身体模型SMPL [^30]的模型。为了捕捉由手部外观产生的事件，我们采用Qian等人提出的手部纹理模型 [^41]。手臂纹理则是通过将手部的平均边界颜色扩展到整个SMPL+H网格上得到的。
模型动画。为模拟手部关节运动，我们利用提供的基于MANO PCA的参数空间来采样单个模型姿态，从而获得自然的手部姿态分布。为了考虑手部的刚体变换并增加手臂事件的多样性，我们会对$SMPL+H$的平移和姿态参数添加额外的随机偏移量。为生成逼真的运动效果，我们每秒选取一个新的随机姿态，并利用二次贝塞尔曲线在这些姿态间平滑插值。该曲线的中间控制点同样每秒随机选取一次。这确保了每秒钟运动方向都会发生急剧变化（例如手部挥动动作）。
光照模型。我们采用带有两个光源的朗伯光照模型。假设$n \in \mathbb{R}^3$是物体表面的法向量，$l_1, l_2 \in \mathbb{R}^3$是光线方向，$c_1, c_2, c_{\text{ambient}} \in \mathbb{R}^3$是光线颜色，那么：
$$ \begin{aligned}&light=\langle n,l_{1}\rangle c_{1}+\langle n,l_{2}\rangle c_{2}+c_{ambient},\\&linear~colour=light\odot albedo,\\ \end{aligned} $$
其中“☉”表示逐元素相乘。
图像生成。场景模型和光照模型用于在时间$F_i \in [0, 255]^{W \times H \times 3}$生成RGB图像$t_i$。我们利用以下公式将$F_i$转换为对数亮度图像$\mathcal{L}(t_i) \in \mathbb{R}^{W \times H}$：
$$ \begin{array}{r}{\mathcal{L}(t_{i})=\log\bigl(0.2F_{i}^{r}+0.7F_{i}^{g}+0.1F_{i}^{b}+\epsilon\bigr),}\end{array} $$
其中加入$\epsilon = 1.0$是为了保证数值稳定性，而$F_i^r$、$F_i^q$和$F_i^b$分别对应红色、绿色和蓝色图像通道。
#### 4.2. 事件相机模拟
事件流生成。为在时间$t_i$模拟事件，我们在每个像素位置$u_i$提取对数亮度$\mathcal{L}(u_i, t_p)$。同时我们还会维护一个记忆帧$M \in$。
---
Figure 2. EventHands method overview. Our approach converts temporal windows of events to the LNES representation with two channels for positive and negative events. The Hand Pose Prediction and Filtering stage uses a neural network (ResNet-18) and a Kalman filter to estimate hand pose as well as the hand translation and rotation. The output shows the rendered hand shape proxy with the estimated parameters. The neural network is trained on our new large-scale dataset for hand pose estimation from event streams.
$\mathbb{R}^{W\times H}$，其中$M(u_i) \approx \mathcal{L}(u_i, t_p)$是时间$u_i$在像素位置$t_p$处生成的最后一个事件的对数亮度绝对值。事件元组$(u_i, t_i, p_i)$的生成步骤如下：
1. 噪声事件：以概率$p_{positive}$和$p_{negative}$分别生成具有正极性或负极性的事件元组。
2. 计算对数亮度差$\Delta = \mathcal{L}(u_i, t_i) - M(u_i)$，然后
2.1. 如果$\Delta \geq C$，则生成$\lfloor \Delta/C \rfloor$个正极性事件。同时更新记忆帧$M(u_i) = M(u_i) + \lfloor \Delta/C \rfloor C$。
2.2. 如果$\Delta \leq -C$，则生成$\lfloor -\Delta/C \rfloor$个负极性事件。同时更新$M(u_i) = M(u_i) - \lfloor -\Delta/C \rfloor C$。
阈值C以及噪声事件率$p_{\mathrm{positive}}$、$p_{\mathrm{negative}}$均经过校准，以匹配我们的DAVIS240C事件相机。具体细节请参阅补充材料。
数据增强。增强对于实现从合成数据到真实数据的域迁移至关重要[^5]。因此，我们每模拟50秒就会重新随机化模拟中的大部分参数。这些参数包括手和身体的形状、身体位置、手部纹理、光线方向与强度、背景图像及其裁剪区域等。具体各变量的随机化范围请参阅补充文档。
模拟运行时间。该模拟系统每秒能够渲染并提取约2000张低亮度图像的事件数据。采用1000帧/秒的时间分辨率后，仅需一台NVIDIA GTX 1070 GPU，两天便可生成$\approx$100小时的模拟事件数据。图1（右侧）展示了利用我们的模拟器合成的示例数据。
### 5. 所提出的方法
在上一节中，我们介绍了由新型事件流模拟器生成的EventHands数据集。现在我们将阐述基于事件流的3D手部姿态预测神经方法，其整体框架如图2所示。我们首先介绍用于学习的事件流表示方法（第5.1节），随后详细说明该方法的两个阶段：手部姿态预测（第5.2节）与时间滤波（第5.3节）。
#### 5.1. 我们用于学习的事件表示方法
事件相机输出的原始事件流是异步且一维的。而当前视觉机器学习领域的最新研究大多围绕空间二维图像、三维体素网格或图结构展开。将一维事件流转换为二维表示的直接方式是在特定时间间隔内累积并合并所有事件，但这会导致该间隔内的时间分辨率丢失[^33]。因此，我们提出了一种名为局部归一化事件表面（LNES）的二维表示方法，可将固定时间窗口内的所有事件编码为图像$\mathcal{I} \in \mathbb{R}^{W \times H \times 2}$（见图2左侧）。通过为正负事件分别设置独立通道，既能保留事件的极性信息，又能减少事件被覆盖的情况。与现有表示方法（如[^8]）不同，LNES采用窗口归一化的时间戳机制。
设事件流中第k个时间窗口的大小为L。我们可以通过先将LNES表示初始化为零，再收集时间戳$\mathcal{I}_k$落在该窗口内的事件$\mathcal{E} = \{(t_i, x_i, y_i, p_i)\}_{i=1}^{N_k}$，从而创建该窗口的LNES表示$t_i$。更新$\mathcal{I}_k$时，需按从旧到新的顺序遍历$\mathcal{E}$并赋值。
$$ \mathcal{I}(x_{i},y_{i},p_{i})=\frac{t_{i}-t_{0}}{L}. $$
因此，$\mathcal{I}(x_i, y_i, p_i) \neq 0$即为该事件经过窗口归一化处理后的时间戳，它能保留窗口内事件之间的相对时间相关性。需要注意的是，由于遍历顺序的原因，当同一像素处出现极性相同的事件时，$\mathcal{I}(x_i, y_i, p_i)$可能会被覆盖。在实验中，我们采用了100毫秒的固定时间窗口，且相邻窗口之间有99毫秒的重叠。如此一来，我们的表示方法便具备了1毫秒的有效时间分辨率，以匹配网络的推理速度。
---
所提出的事件流表示方法支持多种增强操作。例如，可通过切换部分事件的极性来模拟肤色与背景色之间的不同对比度。在LNES中，只需交换某些像素点处两个通道的内容即可轻松实现这一操作。此外，无需重新生成新配置的数据集，仅通过改变窗口长度就能在训练过程中调整运动速度。
需要注意的是，与在时间窗口内进行的简单事件累积方法 [^44] [^33]（该方法会丢失窗口内事件的时间顺序）不同，LNES能够保留事件的时间信息，从而为学习提供更丰富的输入。此外，这使得我们的方法能够在不损失时间分辨率及预测质量的前提下，使用较大的时间窗口。在第6.2节中，我们提供了证明该表示方式优点的实验证据。
#### 5.2. 手部姿态预测
我们用$\theta = [t, R, \alpha] \in \mathbb{R}^{12}$来表示手部姿态，其中$\alpha \in \mathbb{R}^6$是MANO PCA姿态空间的系数，而$t, R \in \mathbb{R}^3$分别用于编码以米为单位的刚性平移以及采用轴角形式的旋转。需要注意的是，我们假设相对于事件相机而言光照恒定且背景静止，也就是说所有事件均由手部和手臂产生，仅存在少量噪声。
我们基于事件输入表示[^21]训练ResNet-18模型$\mathcal{I}$，以回归姿态表示$\theta$。该架构使我们能够根据GPU型号（GTX 1070或RTX 2080 Ti）每秒预测$\approx750-1550$个姿态，从而充分利用LNES的毫秒级时间分辨率。关于网络架构选择的更详细讨论，请参阅补充文档。训练过程中，我们最小化以下损失函数$\mathcal{L}$：
$$ \mathcal{L}=\mathcal{L}_{\alpha}+\lambda_{t}\mathcal{L}_{t}+\lambda_{R}\mathcal{L}_{R}, $$
其中包含MANO损失$\mathcal{L}_{\alpha}$、平移损失$\mathcal{L}_{t}$、旋转损失$\mathcal{L}_{R}$（均为$\ell_{2}$损失），以及权重$\lambda_{t} = 500.0$和$\lambda_{R} = \frac{1}{3}$。这些权重是根据经验选取的，用于进行归一化处理，以适应不同量级的参数。训练和推理时，我们使用对应六个最大特征值的最重要的MANO分量。我们用了45小时合成生成的事件流来训练神经网络。
#### 5.3. 时间滤波
尽管我们新颖的输入表示法明确建模了事件窗口内事件的相对时间信息，且我们使用重叠的事件窗口来进行姿态预测，但原始网络预测序列仍会因事件窗口间缺乏长期相关性而出现时间抖动现象。在真实测试数据上这种情况尤为明显，由于领域差异，抖动现象更为严重。
| | synthetic | real |
| | 2D-AUC $_{{p}}$ | 3D-AUC | 2D-AUC $_{{p}}$ |
| EOI | no filtering | 0.89 | 0.85 | 0.75 |
| no aug. | 0.88 | 0.86 | 0.70 |
| 33ms | 0.86 | 0.85 | 0.70 |
| 100ms | 0.78 | 0.80 | 0.56 |
| ECI-S | 33ms | 0.83 | 0.81 | 0.66 |
| 100ms | 0.69 | 0.76 | 0.56 |
| ECI | 33ms | 0.86 | 0.83 | 0.69 |
| 100ms | 0.76 | 0.79 | 0.52 |
| LNES | 33ms | 0.88 | 0.85 | 0.72 |
| 300ms | 0.87 | 0.84 | 0.72 |
| proposed | 0.88 | 0.85 | 0.77 |
Table 1. Ablation study on synthetic and real test data. We report the 2D-AUC $_{p}$ and the 3D-AUC (higher values are better, bold/bold italic font denotes best/second-best numbers).
详见第6.2节。因此，我们对原始网络输出应用额外的时间滤波，采用恒速卡尔曼滤波器[^23]进行处理。对于低速运动，我们将过程噪声设为$W = \omega(0.1)$，观测噪声v设为5.0；对于高速运动，过程噪声设为$W = \omega(3.0)$，观测噪声v设为1.0，其中$\omega(\cdot)$是离散白噪声协方差矩阵运算符[^26]。关于$\omega(\cdot)$的具体形式，请参阅我们的补充材料。
### 6. 实验结果
我们在多个序列上开展实验，证明了该方法能够捕捉各类运动，包括平移、旋转和关节运动。EventHands能够精准重建文献中此前未曾出现的高速运动手部。我们首先介绍评估指标和测试数据（第6.1节），接着评估我们的设计选择（第6.2节），与相关技术[^71] [^36] [^10] [^35]进行对比（第6.3节），并给出我们方法的额外结果（第6.4节）。如需查看更多可视化结果和对比情况，请观看补充视频。
我们将结果可视化在平均手部形状[^46]上，并配以平均纹理[^41]。需要注意的是，我们的研究重点在于预测手部的运动，而非手臂。为了可视化效果，我们依据预测参数来渲染手臂，以确保其与预测的手部相连。不过，这样生成的手臂运动可能与真实情况存在差异。我们恳请读者忽略手臂的预测运动，因为这超出了本研究的范围。
#### 6.1. 评估指标与测试数据
合成数据。对于合成测试集，我们模拟了总计1240秒的手部运动，其中包含$2.64 \cdot 10^{8}$个事件。所有21个关键点的真实标注数据以1毫秒为间隔提供。
---
Figure 3. Quantitative results of the RGB-based hand pose estimation methods by Mueller et al. [^36] and Boukhayma et al. [^10].
真实数据。我们使用DAVIS240C事件相机和一台同步的高速RGB相机Sony RX0，记录了四组真实事件序列，总时长12600毫秒，包含$5.93 \cdot 10^6$个事件。将每个以1毫秒时间分辨率采样的LNES事件窗口视为一帧，这些序列以每秒30帧的速度均匀标注，共计357帧。
为了获得2D标注，我们首先利用OpenPose [^12] [^50]对500帧/秒的高速RGB视频进行处理，生成初始参考关键点。随后，由多名标注员对手指尖端、中指掌指关节以及手腕的关键点进行检查和修正，从而得到真实标注。同样，真实事件流中的事件图像上的手部关键点也是手动标注的，之后再由另一组标注员进行检查和修正。最终，我们在357帧中获得了2499个关键点。有关标注质量的可视化效果，请参阅补充视频。
评估指标。当具备3D关键点数据时，我们采用根对齐的正确3D关键点百分比（3D-PCK）[^36]以及阈值范围从0到100毫米的PCK曲线下面积（3D-AUC）来进行评估。
对于真实数据，由于我们无法获取真实的3D标注，且手动获取这些标注十分困难，因此无法计算3D-PCK。取而代之的是，我们报告2D-PCK及其对应的曲线下面积（2D-AUC）。为了在与现有RGB方法比较时使不同数据模态下的2D-PCK具有可比性，我们利用手腕和中指掌指关节的标注来计算每个序列中手掌长度的像素平均值，并以此对2D误差进行归一化。参照2D人体姿态估计领域的做法[^4]，我们将经过手掌归一化的2D-PCK称为2D-PCKp，相应的AUC称为2D-AUCp。此处我们采用的阈值范围为相对手掌长度的0%到100%。
#### 6.2. 消融实验
我们在合成数据和真实测试数据上定量评估了本技术的不同设计选择（见表1）。需要注意的是，由于我们的模型是在合成事件流上训练的，因此合成测试数据对该方法而言是一个较为简单的场景，不同版本的结果也较为相近。而在真实序列上的测试则体现了我们的设计选择在泛化能力方面的优势。
数据增强的影响。如第4.2节所述，我们采用了多种数据增强策略来丰富用于训练的事件流数据。在合成数据上，数据增强并无帮助，因为不存在需要跨越的域差异。而在真实数据上，使用数据增强能显著提升预测质量。
时间滤波的影响。我们使用卡尔曼滤波器来提升预测结果的长期时间平滑度（详见第5.3节）。在合成数据上，两种方法的性能相近（见表1）。但在真实数据中，由于领域差异导致的时间抖动更大，所提出的滤波方法能够改善结果。由于时间平滑度最好通过视频来观察，我们建议查看补充视频以获取本次消融研究的可视化结果。
输入事件表示的影响。我们将三种不同的事件表示作为基线进行比较：事件发生图像（EOI）、单通道事件计数图像（ECI-S）[^44]以及双通道事件计数图像（ECI）[^33]。EOI和ECI均包含两个通道，分别对应两种极性。EOI为每个像素存储二进制的事件发生标记，而ECI则记录时间窗口内每个像素处发生的所有事件的累计数量。ECI-S是ECI的简化版本，无论事件极性如何，所有事件都汇总到单个通道中。关于这些基线的更多细节，请参阅补充文档。与我们的LNES不同，其他这些事件表示并未考虑事件的时间信息。最佳窗口大小取决于具体任务，因此对于某种事件表示而言，支持多种窗口大小具有优势。我们的评估表明，LNES能够捕捉到有意义且精确的信息，且即便在窗口较长（即汇聚的事件更多）时性能也不会下降。EventHands采用的LNES窗口大小为100毫秒；若使用其他表示方式且窗口长度相同，性能会显著变差。我们还发现，采用33毫秒的较短时间窗口时，基线方法和LNES窗口的性能表现相近。这是意料之中的，因为较短的基线窗口丢失的时间信息更少。不过，我们的LNES表示能够支持长达300毫秒的窗口，且精度只会缓慢下降；相比之下，随着窗口大小增加，基线方法的性能会因累积的事件缺乏时间顺序信息而迅速恶化。
---
Figure 4. Comparison against state-of-the-art RGB hand pose estimation techniques. We show the high-frame-rate footage (first column) only for reference, while the RGB techniques process a version downsampled to 30fps (second column). Mueller et al. [^36] estimates wrong bounding boxes and hence produces erroneous network predictions which are propagated to their final IK skeleton fit (shown here). Boukhayma et al. [^10] estimates wrong rigid rotation on blurry input and often resorts to approximately the MANO mean pose (first and last row). Zhou et al. [^71] do not estimate any hand translation and hence cannot handle translational motion (first rows). Furthermore, their method struggles with fast blurry motion (last row). Our approach produces accurate 3D hand poses including global translation and rotation, also for challenging articulations like fists (second row) and clearly outperforms state of the art, especially on fast motions.
Figure 5. Results of EventHands on real data of different subjects. Our technique predicts a wide variety of hand poses under fast motion.
#### 6.3. 与现有技术的比较
我们将EventHands与多种RGB技术进行比较[^71] [^36] [^10]。需要注意的是，快速运动导致的图像失真现象在普通深度相机生成的图像中同样存在。此外，我们在补充材料中展示了一种基于深度的现有技术[^35]的严重失效情况。
为了获取30帧/秒的RGB技术输入数据，我们对500帧/秒的图像应用移动平均滤波器，窗口大小为16帧。图4展示了与不同单目RGB手部姿态估计方法的定性比较。Mueller等人[^36]提出的边界框估计方法受快速运动的影响严重，因为他们采用了简单的时间传播机制。即便边界框估计实现得当，其结果也可能比其他方法更精确。
---
Figure 6. EventHands can reconstruct accurate hand poses in the dark, whereas RGB cameras output starkly under-exposed images.
如果步骤成功，模糊的输入图像往往会导致错误的预测，这些错误预测会传递到逆向运动学骨骼拟合中。Boukhayma等人的方法[^10]在我们的测试序列中也表现不佳。在运动模糊存在的情况下，估算出的刚性旋转是不准确的，且关节通常默认采用MANO平均姿态（第一行和最后一行）。Zhou等人的方法[^71]无法预测手部的平移运动，因此无法捕捉到平移动作（前两行）。由于运动模糊，该方法也无法捕捉快速的关节运动。然而，我们的方法在快速运动场景下明显优于基于RGB的方法。此外，EventHands还能捕捉到拳头姿态（第三行），而其他方法即使输入图像中没有模糊现象也无法做到这一点。
为了进行定量比较，我们使用经过手掌长度归一化的2D-PCKp指标，以确保在不同数据模态间进行公平对比。对于Zhou等人的方法[^71]，我们无法计算其2D误差，因为他们没有提供平移估计值。在图3中，我们可以看到我们提出的方法的性能显著优于Mueller等人[^36]和Boukhayma等人[^10]提出的现有基于RGB的方法。
#### 6.4. 额外结果
我们在多个真实视频上对EventHands进行了评估，结果如图5所示。对于每个时间段，我们展示了输入的事件流以及我们预测的手部姿态与输入图像的叠加效果。我们的方法能够应对不同受试者做出的各种姿态和关节运动，即使在快速运动场景下也能表现良好。
EventHands无需修改网络架构或重新训练，就能处理慢速运动。为此，我们会检测LNES中是否包含足够的有意义（即非噪声）事件；如果输入事件不足，就沿用之前的预测结果。技术细节请参阅补充材料，可视化效果可观看相关视频。
与基于图像的传感器不同，事件相机可以监测相对亮度变化，因此能在黑暗环境中记录合理的数据。我们在图6中展示了一个此类示例，更多内容见补充视频。在包含1645个标注的236帧数据上，我们取得了0.77的2D-PCKp AUC值。更多详情请参阅补充文档。
### 7. 讨论
我们的EventHands假设场景背景大致是静止的，也就是说，尽管该方法对一定程度的噪声事件具有鲁棒性，但输入数据中不应包含由场景中其他移动物体或相机运动产生的事件。虽然这意味着我们的方法并非专门设计用于处理手与物体、手与手之间的交互，但我们观察到它对小型物体的交互具有鲁棒性（详见补充视频）。未来的工作可以探索如何过滤掉背景事件，或者如何利用完全动态场景中的事件数据来最佳地训练预测器。另一个值得研究的方向是将RGB数据与事件数据相结合，既保留事件数据低延迟、高吞吐的特性，又能利用信息丰富的图像来更轻松地检测遮挡和交互情况。
如果引入学习到的运动先验来更好地整合每帧的预测结果，我们的方法还将进一步受益。这种统计时序模型可以取代卡尔曼滤波器中的白噪声假设。
### 8. 结论
我们提出了EventHands，这是首个基于事件流进行3D手部姿态估计的方法。我们的方法运行频率高达1000 Hz，能够比以往任何方法都更快地重建手部运动，这一点已在详尽的实验中得到验证。我们认为，所提出的方法也是利用事件流进行通用非刚性3D重建领域的一大进步，文中提出的思路可应用于相关场景及其他类型的物体。我们的补充材料提供了该方法的其他实验结果，以及关于卡尔曼滤波器、架构选择和事件流模拟器的更多细节。致谢：本研究得到了ERC Consolidator Grant 4DRepLy（项目编号770784）的支持。我们感谢Jalees Nehvi和Navami Kairanda在对比实验中的协助。
## 参考文献
## [^1]: Ignacio Alzugaray and Margarita Chli. Ace: An efficient asynchronous corner tracker for event cameras. In International Conference on 3D Vision (3DV), 2018. 2
---
[^2]: Ignacio Alzugaray and Margarita Chli. Asynchronous corner detection and tracking for event cameras in real time. In Robotics and Automation Letters (RA-L), 3(4):3177–3184, 2018. 1,2
[^3]: Arnon Amir, Brian Taba, David Berg, Timothy Melano, Jeffrey McKinstry, Carmelo Di Nolfo, Tapan Nayak, Alexander Andreopoulos, Guillaume Garreau, Marcela Mendoza, Jeff Kusnitz, Michael Debole, Steve Esser, Tobi Delbruck, Myron Flickner, and Dharmendra Modha. A low power, fully event-based gesture recognition system. In Computer Vision and Pattern Recognition (CVPR), 2017. 1, 2
[^4]: Mykhaylo Andriluka, Leonid Pishchulin, Peter Gehler, and Bernt Schiele. 2d human pose estimation: New benchmark and state of the art analysis. In Computer Vision and Pattern Recognition (CVPR), 2014. 6
[^5]: OpenAI: Marcin Andrychowicz, Bowen Baker, Maciek Chociej, Rafal Jozefowicz, Bob McGrew, Jakub Pachocki, Arthur Petron, Matthias Plappert, Glenn Powell, Alex Ray, et al. Learning dexterous in-hand manipulation. The International Journal of Robotics Research, 39(1):3–20, 2020. 4
[^6]: Seungryul Baek, Kwang In Kim, and Tae-Kyun Kim. Pushing the envelope for rgb-based dense 3d hand pose estimation via neural rendering. In Computer Vision and Pattern Recognition (CVPR), 2019. 2
[^7]: Patrick Bardow, Andrew J. Davison, and Stefan Leutenegger. Simultaneous optical flow and intensity estimation from an event camera. In Computer Vision and Pattern Recognition (CVPR), 2016. 1, 2
[^8]: Ryad Benosman, Charles Clercq, Xavier Lagorce, Sio-Hoi Ieng, and Chiara Bartolozzi. Event-based visual flow. IEEE Transactions on Neural Networks and Learning Systems, 25(2):407–417, 2014. 2, 4
[^9]: David Borer, Tobi Delbruck, and T. Rösgen. Three-dimensional particle tracking velocimetry using dynamic vision sensors. Experiments in Fluids, 58, 12 2017. 1
[^10]: Adnane Boukhayma, Rodrigo de Bem, and Philip H.S. Torr. 3d hand shape and pose from images in the wild. In Computer Vision and Pattern Recognition (CVPR), 2019. 1, 2, 5, 6, 7, 8
[^11]: Yujun Cai, Liuhao Ge, Jianfei Cai, and Junsong Yuan. Weakly-supervised 3d hand pose estimation from monocular rgb images. In European Conference on Computer Vision (ECCV), 2018. 2
[^12]: Zhe Cao, Gines Hidalgo, Tomas Simon, Shih-En Wei, and Yaser Sheikh. Openpose: Realtime multi-person 2d pose estimation using part affinity fields. Transactions on Pattern Analysis and Machine Intelligence (TPAMI), 2019. 6
[^13]: Tat-Jun Chin, Samya Bagchi, Anders Eriksson, and Andre van Schaik. Star tracking using an event camera. In Computer Vision and Pattern Recognition Workshops (CVPRW), 2019. 1
[^14]: Gottfried Graber Christian Reinbacher and Thomas Pock. Real-time intensity-image reconstruction for event cameras using manifold regularisation. In British Machine Vision Conference (BMVC), 2016. 2
[^15]: Davide Falanga, Kevin Kleber, and Davide Scaramuzza. Dynamic obstacle avoidance for quadrotors with event cameras. Science Robotics, 5(40), 2020. 1
[^16]: Linpu Fang, Xingyan Liu, Li Liu, Hang Xu, and Wenxiong Kang. Jgr-p2o: Joint graph reasoning based pixel-to-offset prediction network for 3d hand pose estimation from a single depth image. In European Conference on Computer Vision (ECCV), 2020. 2
[^17]: Guillermo Gallego, Tobi Delbruck, Garrick Michael Orchard, Chiara Bartolozzi, Brian Taba, Andrea Censi, Stefan Leutenegger, Andrew Davison, Jorg Conradt, Kostas Daniilidis, and Davide Scaramuzza. Event-based vision: A survey. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2020. 2
[^18]: Liuhao Ge, Yujun Cai, Junwu Weng, and Junsong Yuan. Hand pointnet: 3d hand pose estimation using point sets. In Computer Vision and Pattern Recognition (CVPR), 2018. 2
[^19]: Daniel Gehrig, Antonio Loquercio, Konstantinos G. Derpanis, and Davide Scaramuzza. End-to-end learning of representations for asynchronous event-based data. In International Conference on Computer Vision (ICCV), 2019. 2
[^20]: Shreyas Hampali, Mahdi Rad, Markus Oberweger, and Vincent Lepetit. Honnotate: A method for 3d annotation of hand and object poses. In Computer Vision and Pattern Recognition (CVPR), 2020. 2
[^21]: Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deep residual learning for image recognition. In Computer Vision and Pattern Recognition (CVPR), 2016. 5
[^22]: Jacques Kaiser, J. Camilo Vasquez Tieck, Christian Hubschneider, Peter Wolf, Michael Weber, Michael Hoff, Alexander Friedrich, Konrad Wojtasik, Arne Roennau, Ralf Kohlhaas, et al. Towards a framework for end-to-end control of a simulated vehicle with spiking neural networks. In International Conference on Simulation, Modeling, and Programming for Autonomous Robots (SIMPAR), pages 127–134, 2016. 3
[^23]: Rudolph Emil Kalman. A new approach to linear filtering and prediction problems. Transactions of the ASME-Journal of Basic Engineering, 82(Series D):35–45, 1960. 5
[^24]: Hanme Kim, Stefan Leutenegger, and Andrew Davison. Real-time 3d reconstruction and 6-dof tracking with an event camera. In European Conference on Computer Vision (ECCV), 2016. 1, 2
[^25]: Nathan Koenig and Andrew Howard. Design and use paradigms for gazebo, an open-source multi-robot simulator. In International Conference on Intelligent Robots and Systems (IROS), volume 3, pages 2149–2154, 2004. 3
[^26]: Roger Labbe. Kalman and bayesian filters in python. , 2014. online, accessed on the 11 Dec. 2020. 5
[^27]: Xavier Lagorce, G. Orchard, F. Galluppi, B. Shi, and R. Benosman. Hots: A hierarchy of event-based time-surfaces for pattern recognition. Transactions on Pattern Analysis and Machine Intelligence (TPAMI), 39:1346–1359, 2017. 2
## [^28]: Shile Li and Dongheui Lee. Point-to-pose voting based hand pose estimation using residual permutation equivariant layer. In Computer Vision and Pattern Recognition (CVPR), 2019. 2
---
[^29]: Patrick Lichtsteiner, Christoph Posch, and Tobi Delbruck. A $128 \times 128$ 120 db $15\mu s$ latency asynchronous temporal contrast vision sensor. IEEE Journal of Solid-State Circuits, 43(2):566–576, 2008. 1
[^30]: Matthew Loper, Naureen Mahmood, Javier Romero, Gerard Pons-Moll, and Michael J. Black. SMPL: A skinned multi-person linear model. ACM Trans. Graphics (Proc. SIGGRAPH Asia), 34(6):248:1–248:16, Oct. 2015. 3
[^31]: Jameel Malik, Ibrahim Abdelaziz, Ahmed Elhayek, Soshi Shimada, Sk Aziz Ali, Vladislav Golyanik, Christian Theobalt, and Didier Stricker. Handvoxnet: Deep voxel-based network for 3d hand shape and pose estimation from a single depth map. In Computer Vision and Pattern Recognition (CVPR), 2020. 1, 2
[^32]: Jameel Malik, Ahmed Elhayek, Fabrizio Nunnari, Kiran Varanasi, Kiarash Tamaddon, Alexis Héloir, and Didier Stricker. Deephps: End-to-end estimation of 3d hand pose and shape by learning from synthetic depth. In International Conference on 3D Vision (3DV), 2018. 2
[^33]: Ana I. Maqueda, Antonio Loquercio, Guillermo Gallego, Narciso García, and Davide Scaramuzza. Event-based vision meets deep learning on steering prediction for self-driving cars. In Computer Vision and Pattern Recognition (CVPR), 2018. 2, 4, 5, 6
[^34]: Anton Mitrokhin, Cornelia Fermüller, Chethan Parameshwara, and Yiannis Aloimonos. Event-based moving object detection and tracking. In International Conference on Intelligent Robots and Systems (IROS), 2018. 1, 2
[^35]: Gyeongsik Moon, Ju Yong Chang, and Kyoung Mu Lee. V2v-posenet: Voxel-to-voxel prediction network for accurate 3d hand and human pose estimation from a single depth map. In Computer Vision and Pattern Recognition (CVPR), 2018. 2, 5, 7
[^36]: Franziska Mueller, Florian Bernard, Oleksandr Sotnychenko, Dushyant Mehta, Srinath Sridhar, Dan Casas, and Christian Theobalt. Generated hands for real-time 3d hand tracking from monocular rgb. In Computer Vision and Pattern Recognition (CVPR), 2018. 1, 2, 5, 6, 7, 8
[^37]: Jalees Nehvi, Vladislav Golyanik, Franziska Mueller, Hans-Peter Seidel, Mohamed Elgharib, and Christian Theobalt. Differentiable event stream simulator for non-rigid 3d tracking. In CVPR Workshop on Event-based Vision, 2021. 3
[^38]: Markus Oberweger, Paul Wohlhart, and Vincent Lepetit. Training a feedback loop for hand pose estimation. In International Conference on Computer Vision (ICCV), 2015. 2
[^39]: Liyuan Pan, Miaomiao Liu, and Richard Hartley. Single image optical flow estimation with an event camera. In Computer Vision and Pattern Recognition (CVPR), 2020. 2
[^40]: Liyuan Pan, Cedric Scheerlinck, Xin Yu, Richard Hartley, Miaomiao Liu, and Yuchao Dai. Bringing a blurry frame alive at high frame-rate with an event camera. In Computer Vision and Pattern Recognition (CVPR), 2019. 1,2
[^41]: Neng Qian, Jiayi Wang, Franziska Mueller, Florian Bernard, Vladislav Golyanik, and Christian Theobalt. HTML: A Parametric Hand Texture Model for 3D Hand Reconstruction and Personalization. In European Conference on Computer Vision (ECCV), 2020. 2, 3, 5
[^42]: Henri Rebecq, Guillermo Gallego, Elias Mueggler, and Davide Scaramuzza. Emvs: Event-based multi-view stereo—3d reconstruction with an event camera in real-time. International Journal of Computer Vision (IJCV), 126:394–1414, 2018. 2
[^43]: Henri Rebecq, Daniel Gehrig, and Davide Scaramuzza. Esim: an open event camera simulator. In Conference on Robot Learning (CoRL), pages 969–982, 2018. 3
[^44]: Henri Rebecq, Timo Horstschaefer, and Davide Scaramuzza. Real-time visual-inertial odometry for event cameras using keyframe-based nonlinear optimization. In British Machine Vision Conference (BMVC), 2017. 2, 5, 6
[^45]: Henri Rebecq, René Ranftl, Vladlen Koltun, and Davide Scaramuzza. High speed and high dynamic range video with an event camera. IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI), 2020. 1
[^46]: Javier Romero, Dimitrios Tzionas, and Michael J. Black. Embodied hands: Modeling and capturing hands and bodies together. ACM Transactions on Graphics, (Proc. SIGGRAPH Asia), 36(6), 2017. 2, 3, 5
[^47]: Cedric Scheerlinck, Nick Barnes, and Robert Mahony. Continuous-time intensity estimation using event cameras. In Asian Conference on Computer Vision (ACCV), 2018. 2
[^48]: Stephan Schraml, Ahmed Nabil Belbachir, and Horst Bischof. Event-driven stereo matching for real-time 3d panoramic vision. In Computer Vision and Pattern Recognition (CVPR), 2015. 2
[^49]: Jingjing Shen, Tom Cashman, Qi Ye, Tim Hutton, Toby Sharp, Federica Bogo, Andrew Fitzgibbon, and Jamie Shotton. The phong surface: Efficient 3d model fitting using lifted optimization. In European Conference on Computer Vision (ECCV), 2020. 2
[^50]: Tomas Simon, Hanbyul Joo, Iain Matthews, and Yaser Sheikh. Hand keypoint detection in single images using multiview bootstrapping. In Computer Vision and Pattern Recognition (CVPR), 2017. 6
[^51]: Amos Sironi, Manuele Brambilla, Nicolas Bourdis, Xavier Lagorce, and Ryad Benosman. Hats: Histograms of averaged time surfaces for robust event-based object classification. In Computer Vision and Pattern Recognition (CVPR), 2018. 2
[^52]: Adrian Spurr, Umar Iqbal, Pavlo Molchanov, Otmar Hilliges, and Jan Kautz. Weakly supervised 3d hand pose estimation via biomechanical constraints. In European Conference on Computer Vision (ECCV), 2020. 2
[^53]: Adrian Spurr, Jie Song, Seonwook Park, and Otmar Hilliges. Cross-modal deep variational hand pose estimation. In Computer Vision and Pattern Recognition (CVPR), 2018. 2
[^54]: Rika Sugimoto, Mathias Gehrig, Dario Brescianini, and Davide Scaramuzza. Towards Low-Latency High-Bandwidth Control of Quadrotors using Event Cameras. In International Conference on Robotics and Automation (ICRA), 2020. 1
## [^55]: Jonathan Taylor, Vladimir Tankovich, Danhang Tang, Cem Keskin, David Kim, Philip Davidson, Adarsh Kowdle, and Shahram Izadi. Articulated distance fields for ultra-fast tracking of hands interacting. ACM Transactions on Graphics (TOG), 36(6), 2017. 2
---
[^56]: Jonathan Tompson, Murphy Stein, Yann LeCun, and Ken Perlin. Real-time continuous pose recovery of human hands using convolutional networks. ACM Transactions on Graphics (TOG), 33, 2014. 2
[^57]: Valentina Vasco, Arren Glover, and Chiara Bartolozzi. Fast event-based harris corner detection exploiting the advantages of event-driven cameras. In International Conference on Intelligent Robots and Systems (IROS), pages 4144–4149, 2016. 2
[^58]: Chengde Wan, Thomas Probst, Luc Van Gool, and Angela Yao. Crossing nets: Combining gans and vaes with a shared latent space for hand pose estimation. In Computer Vision and Pattern Recognition (CVPR), 2017. 2
[^59]: Chengde Wan, Thomas Probst, Luc Van Gool, and Angela Yao. Dual grid net: Hand mesh vertex regression from single depth maps. In European Conference on Computer Vision (ECCV), 2020. 2
[^60]: Qinyi Wang, Yexin Zhang, Junsong Yuan, and Yilong Lu. Space-time event clouds for gesture recognition: From RGB cameras to event cameras. In Winter Conference on Applications of Computer Vision (WACV), 2019. 1,2
[^61]: Yuanhao Wang, Ramzi Idoughi, and Wolfgang Heidrich. Stereo event-based particle tracking velocimetry for 3d fluid flow reconstruction. In European Conference on Computer Vision (ECCV), 2020. 1
[^62]: David Weikersdorfer, David B. Adrian, Daniel Cremers, and Jorg Conradt. Event-based 3d slam with a depth-augmented dynamic vision sensor. In International Conference on Robotics and Automation (ICRA), 2014. 2
[^63]: David Weikersdorfer, Raoul Hoffmann, and Jörg Conrad. Simultaneous localization and mapping for event-based vision systems. In Computer Vision Systems, pages 133–142, 2013. 1,2
[^64]: Lan Xu, Weipeng Xu, Vladislav Golyanik, Marc Habermann, Lu Fang, and Christian Theobalt. Eventcap: Monocular 3d capture of high-speed human motions using an event camera. In Computer Vision and Pattern Recognition (CVPR), 2020. 2, 3
[^65]: Linlin Yang, Shile Li, Dongheui Lee, and Angela Yao. Aligning latent spaces for 3d hand pose estimation. In International Conference on Computer Vision (ICCV), 2019. 2
[^66]: Wenzhen Yuan and Srikumar Ramalingam. Fast localization and tracking using event sensors. In International Conference on Robotics and Automation (ICRA), 2016. 2
[^67]: Song Zhang, Yu Zhang, Zhe Jiang, Dongqing Zou, Jimmy Ren, and Bin Zhou. Learning to see in the dark with events. In European Conference on Computer Vision (ECCV), 2020. 1,2
[^68]: Xiong Zhang, Qiang Li, Hong Mo, Wenbo Zhang, and Wen Zheng. End-to-end hand mesh recovery from a monocular rgb image. In International Conference on Computer Vision (ICCV), 2019. 1, 2
[^69]: Yi Zhou, Guillermo Gallego, Henri Rebecq, Laurent Kneip, Hongdong Li, and Davide Scaramuzza. Semi-dense 3d reconstruction with a stereo event camera. In European Conference on Computer Vision (ECCV), 2018. 2
[^70]: Yi Zhou, Guillermo Gallego, and Shaojie Shen. Event-based stereo visual odometry. IEEE Transactions on Robotics (T-RO), 2021. 2
[^71]: Yuxiao Zhou, Marc Habermann, Weipeng Xu, Ikhsanul Habibie, Christian Theobalt, and Feng Xu. Monocular real-time hand shape and motion capture using multi-modal data. In Computer Vision and Pattern Recognition (CVPR), 2020. 2, 5, 7, 8
[^72]: Alex Zhu, Liangzhe Yuan, Kenneth Chaney, and Kostas Daniilidis. Ev-flownet: Self-supervised optical flow estimation for event-based cameras. In Robotics: Science and Systems (RSS), 2018. 2
[^73]: Christian Zimmermann and Thomas Brox. Learning to estimate 3d hand pose from single rgb images. In International Conference on Computer Vision (ICCV), 2017. 2
[^74]: Michał Żołnowski, Rafal Reszelewski, Diederik Paul Moeys, Tobi Delbruck, and Krzysztof Kamiński. Observational evaluation of event cameras performance in optical space surveillance. In ESA NEO and Debris Detection Conference (2019), 2019. 1