# 基于单目事件相机的两只交互手的三维姿态估计
Christen Millerdurai $^{1,2}$
Jiayi Wang $^{1}$
$^{1}$MPI 计算机科学研究所，SIC
迪奥戈·卢维松 $^{1}$ 维克托·鲁德涅夫 $^{1,2}$ 安德烈·约纳斯 $^{3}$
Christian Theobalt $^{1}$ Vladislav Golyanik $^{1}$
$^{2}$萨尔兰大学，SIC $^{3}$凯泽斯劳滕-兰道理工大学
## 摘要
由于手部交互、遮挡、左右手混淆以及快速运动等因素，基于单目视频的3D手部跟踪是一项极具挑战性的任务。现有大多数方法依赖RGB输入，这类输入在弱光条件下存在严重局限，且容易出现运动模糊现象。相比之下，事件相机捕捉的是局部亮度变化而非完整图像帧，因此不会受到上述效应的影响。遗憾的是，由于数据模态存在显著差异，现有的基于图像的技术无法直接应用于事件数据。为应对这些挑战，本文提出了首个基于单目事件相机对两只快速运动且相互交互的手进行3D跟踪的框架。我们的方法采用新颖的半监督特征级注意力机制来解决左右手混淆问题，并引入交叉损失函数来消除手部碰撞现象。为推动该研究领域的进步，我们发布了全新的大规模合成数据集Ev2Hands-S（包含两只交互手的数据），以及全新的真实基准测试集Ev2Hands-R（包含真实事件流和3D标注真值）。在3D重建精度方面，我们的方法优于现有方法，且在极端光照条件下的真实数据上同样表现出良好的泛化能力 $^{1}$。
### 1. 引言
从视觉流中实时进行3D手部跟踪是一项具有挑战性的问题，它在人机交互、自动手语翻译等众多应用中都有重要价值 [^1] [^7] [^9] [^21] [^42] [^50] [^52]。现有研究主要借助RGB传感器来解决这一问题 [^2] [^4] [^12] [^15] [^29] [^59]。然而，人手的运动速度往往很快，且可能在弱光条件下被观测到，这些因素常常导致RGB传感器的明显运动模糊以及有限的时间分辨率（或曝光不足），从而使得这类3D手部重建场景难以实际应用。
与同步工作的RGB传感器不同（即，
Figure 1. We propose Ev2Hands, the first method for the 3D reconstruction of two interacting hands from a single event camera. Our method operates on event clouds and outputs the shape, pose, and position of both hands in 3D space. The RGB images (bottom) are not used by our method and are shown only for reference.
传统摄像机以预定义的时间间隔记录一帧中所有像素的绝对亮度值，而事件相机则是异步记录每个像素的亮度变化。事件相机已在多项复杂任务中取得成功应用，包括图像重建[^44] [^47] [^49]、光流估计[^35]、人体动作识别[^38] [^48]以及人体运动捕捉[^62]，即便在低光照条件下也能正常工作。尽管取得这些成果，基于事件的视觉技术在三维手部追踪领域仍处在起步阶段[^56]：仅有少数研究[^34] [^46] [^63]涉足单手追踪领域，且尚无研究专门考虑双手交互时常见的复杂遮挡情况。需要注意的是，从异步事件中追踪两只手比追踪单手更具挑战性，因为事件可能由两只移动的手同时产生，也可能由背景运动或噪声导致，进而引发左右手混淆和错误预测。此外，目前文献中尚无包含真实事件流观测数据、双手三维标注、双手交互信息以及快速手部运动记录的数据集。
针对上述挑战，本文提出Ev2Hands——一种全新的、同类中首个基于事件的追踪器，能够从单一事件流中重建高速的双手交互三维模型（见图1）。我们的新型神经架构以时空展开的、被聚合为事件点云的事件为处理对象，这些事件点云会以半监督方式被分割为左手、右手或背景产生的事件。
---
该方法利用特征级注意力机制来解决左右手事件的歧义问题，且无需使用真实数据的ground-truth分割标签。为了获得合理的三维估计结果，并防止预测的手部网格出现碰撞或自穿透现象，我们还引入了手间损失与交叉损失。最后，我们构建了Ev2Hands-S——一个基于稀疏真实手部姿态标注合成事件的新大规模数据集；以及Ev2Hands-R——一个新的双手姿态基准测试集，其中的事件由真实事件相机采集，且两只交互手的三维真实姿态已校准同步。
综上，我们的技术贡献如下：
- 首个利用单个事件相机实现两只交互手三维追踪的方法；
- 一种结合特征级注意力机制与独立事件点分割的新型神经架构，可通过半监督学习策略确定手的左右属性；
- 两个用于训练与评估的新数据集：基于稀疏三维手部姿态标注生成的Ev2Hands-S，以及包含同步校准的事件流、RGB视图与两只交互手三维标注的新真实数据基准测试集Ev2Hands-R。
### 2. 相关工作
我们将所提架构与训练策略与基于事件的基线方法EventHands[^46]以及近期的基于RGB的方法[^4] [^22] [^27]进行对比，结果显示所提方法能生成更精准的三维预测结果，尤其在复杂场景下表现更佳。建议读者观看附带的视频以了解详情。
本节重点介绍近期基于单目输入的两手三维重建方法，并回顾基于事件的三维视觉技术。
双手的3D重建。现有研究主要集中于从RGB图像[2, 4, 12, 17, 32, 67–69]或深度图中估计单手姿态[^24] [^51] [^65]。这些方法往往受限于传统彩色相机和深度传感器较低的帧率，容易出现图像模糊现象，且在估计两只交互手这一更具挑战性的问题上表现不佳。此外，目前可用的大多数数据集都是针对基于RGB[^20] [^32] [^70]、深度[^11] [^31] [^64]数据的单手估计，或是合成事件数据[^46]；仅有极少数的RGB[^29]和深度[^33]数据集为双手提供了3D标注。
一些双手姿态估计方法会将该问题拆解为更易处理的子任务[^10] [^27] [^59]，并利用大规模标注数据来训练手部姿态预测器[^27] [^29]。参数化手部模型[^8] [^28] [^41] [^45]能够预测更合理的手部交互方式，这些模型可结合中间监督机制[^66]、注意力机制[^14] [^22]，或以概率建模的方式实现[^60]。手部分割作为中间任务，对于从RGB[^10]或深度图中估计手部姿态也尤为有用[^23] [^33] [^54]。然而，从事件中获取分割结果仍是一个处于起步阶段的难题[^53]，目前尚无相关的手部数据集可供使用。与以往方法不同，我们的方法无需依赖RGB或深度数据，可直接从事件流中预测两只交互手，且具备极高的时间分辨率；同时，我们通过惩罚3D空间中交互手之间的碰撞来确保预测结果的合理性。
基于事件的3D重建方法。传统的基于图像的技术无法直接应用于事件数据。为应对这一问题，Xu等人[^62]利用一组“邻近事件”构建模型拟合项，以优化初始姿态。其他方法则采用事件帧——即通过聚合固定时间间隔内的事件得到的图像空间表示。这种方式使得能够运用基于学习的技术，充分发挥CNN的归纳偏置优势。因此，Rudnev等人[^46]提出了首个从事件数据中估计单手3D姿态的方法，该方法采用了LNES表示并引入了时序卡尔曼滤波阶段。LNES会在考虑时间滑动窗口的情况下，在2D图像中聚合事件$^{2}$。Nehvi等人[^34]通过新的可微事件流模拟器来追踪非刚性3D物体；Xue等人[^63]则提出了一种期望最大化（EM）框架，通过将事件与网格面关联起来优化手部模型参数，其假设事件是通常由运动边缘引发的。不过，这类方法并未充分利用事件流的稀疏性，必须完整处理每一张事件图像。此外，它们仅适用于单手估计。当场景中有多只手交互时，不同手触发的事件会在事件帧表示中相互交织，导致难以单独估计两只手的运动。
保持数据稀疏性的一种方法是将事件流表示为时空事件点云（EPC）。这种表示方法已应用于手势识别[^61]，其中事件点由PointNet进行处理[^39]。Chen等人[^6]将EPC扩展为用于二维人体姿态估计的栅格化事件点云（REPC）表示。该表示包含一种重采样策略，以确保PointNet能够在固定的时间窗口内运行。我们的方法利用EPC表示，并通过PointNet++对其进行处理[^40]，以解决更为复杂的双手三维重建任务。与以往的方法不同，我们提出了一种基于特征级的注意力机制，并结合半监督训练，该训练能够利用合成事件分割结果以及无分割标注的真实数据。
---
Figure 2. Workflow of our Ev2Hands approach. Our framework converts a time-sliced event stream into an event cloud, which is fed as input to Ev2Hands that regresses the MANO parameters of the left and right hands with their global rotations and translations. The grey blocks are non-trainable and dashed lines indicate components only used during training. Note that the segmentation branch is only supervised with synthetic data and trained in a semi-supervised manner on real data.
这些标签有助于网络仅关注相关事件，同时能更好地泛化到真实事件流中。
### 3. 方法
给定观测两只交互手的单目事件流（见3.1节），我们分两个阶段在全局三维空间中重建每只手的形状、姿态和位置。首先，我们将原始单目事件流处理成事件点云表示（见3.2节），该表示能在保留给定时间窗口内相关信息的同时，将同一像素上的冗余事件压缩为单个点。其次，我们提出了Ev2Hands（见3.3节）——一种基于注意力的端到端神经网络，它以事件云为输入，回归手部模型参数[^45]，以及左右手的整体平移和旋转信息。所提架构中的关键组件是一个特征级注意力模块，该模块能利用输入给特定手部回归器的半监督分割特征进行学习。方法概览见图2。
#### 3.1. 事件相机模型
事件相机产生异步事件流，用于记录亮度变化。这些原始事件由元组表示：
$$ \mathbf{e}_{i}=(x_{i},y_{i},t_{i},p_{i}), $$
其中，对应于像素位置$(x_i, y_i)$的第i个事件在时间$t_i$被触发，其极性为$p_i \in \{-1, 1\}$。当对数亮度L的变化量超过阈值C时，即$t_i$，会在时间$|L(x_i, y_i, t_i) - L(x_i, y_i, t_i - t_p)| \geq C$产生一个事件，此处$t_p$是同一像素上的上一个触发时间。由于事件流具有稀疏性和异步性，直接使用神经网络处理原始事件流颇具挑战性。接下来，我们将介绍一种更适合训练我们网络架构的事件云表示方式。
#### 3.2. 事件云表示
本阶段的目标是以更稳定、更高效的方式处理输入的异步事件流。以往的研究通过将时间信息投影到图像平面来生成事件的二维表示[^25] [^43] [^46]，以便直接应用CNN。然而，这种聚合方式会丢失时间信息，且生成的图像表示既低效又稀疏。作为替代方案，我们将时间视为第三个数据维度，并借鉴REPC的思路[^6]，将事件概念化为点云。
具体而言，考虑大小为T的时间窗口，其中第一个原始事件$\mathbf{e}_0$发生在时间$t_0 = 0$（相对于该时间窗口而言），同一像素位置$(x, y)$上的所有事件会被合并为一个事件点$\mathbf{E}_k$：
$$ \mathbf{E}_{k}=(x_{k},y_{k},t_{k},P_{k},N_{k}), $$
其中 $t_k$ 是合并事件的平均时间，$P_k$ 和 $N_k$ 分别是所考虑时间间隔内正事件和负事件的数量，它们会经过归一化处理，以像素内总事件数作为基准。当把时间窗口 T 内的所有原始事件合并后，我们便得到了一个事件云 $\mathbf{E} \in \mathbb{R}^{M \times 5}$，这里的 M 表示最终得到的事件数量。
#### 3.3. 所提出的 Ev2Hands 方法
给定事件云 E，我们就能估算出对应于时间窗口 T 末端的每只手的形状、姿态和位置。接下来，我们将详细介绍所使用的手部模型，以及为处理两只手对应的事件云 E 而提出的基于注意力机制的神经网络。
#### 3.3.1 三维手部模型
我们采用 MANO [^45] 来进行人手网格的参数化，该模型包含一个手部姿态向量 $\boldsymbol{\theta} \in \mathbb{R}^6$ 和形状向量 $\boldsymbol{\beta} \in \mathbb{R}^{10}$；这两个向量都是通过主成分分析分解得到的系数。我们还对刚性变换参数进行编码，
---
也就是每只手的平移量 $\mathbf{t} \in \mathbb{R}^3$ 和旋转量 $\mathbf{R} \in \mathbb{R}^3$。通过 MANO 我们可以得到稀疏的手部关节点 $\mathbf{J} = \mathcal{J}(\boldsymbol{\theta}, \boldsymbol{\beta}, \mathbf{t}, \mathbf{R})$，其中 $\mathcal{J}$ 是一个能够回归关节位置并应用旋转和平移的函数，而 $\mathbf{J} \in \mathbb{R}^{N_J \times 3}$ 则是回归得到的三维手部关节位置。为简便起见，除非另有说明，否则我们对左右手的手部参数采用相同的表述方式。
#### 3.3.2 Ev2Hands 模型
考虑到双手和背景都可能触发独立的事件，且部分事件是虚假的（噪声信号），因此我们需要一个能够判断哪些事件与每只手的预测更相关、哪些事件应被忽略的模型。此外，模型架构必须专门设计来处理事件云输入，并如前述那样预测两只手的参数。为实现这一目标，我们以 PointNet++ [^40] 作为骨干网络，它将事件云 E 作为输入，输出事件特征 $\mathbb{F} \in \mathbb{R}^{M \times 256}$。随后，这些事件特征会被多层感知机处理，生成用于分割任务和手部回归任务的独立特征。针对两只手的特征，我们会分别应用基于特征级的注意力模块，其中预测的分割标签被用作键。这样一来，两只手的回归模型就能结合分割结果来预测左手和右手的参数。Ev2Hands 的结构示意图如图 2 所示，接下来我们将对其各组成部分进行说明。
手部分支。给定事件特征 $\mathbb{F}$，我们希望得到每只手的特征向量，以便进一步计算与手相关的特定特征。为此，我们使用图 2 中用绿色和红色分别表示的左手和右手分支，它们通过两个浅层多层感知机网络从 $\mathbb{Q}_L, \mathbb{Q}_R \in \mathbb{R}^{M \times 256}$ 中的每个点提取出两个特征向量 $\mathbb{F}$。
分割分支。除了手部特定特征外，我们希望模型能够判断各个点属于左手、右手还是背景事件。因此，我们引入了分割分支，它同样会对$\mathbb{F}$中的每个点应用一个浅层MLP。与手部分支不同，分割分支会预测事件云中每个点对应的逻辑值，这些逻辑值由$\mathbb{S} \in \mathbb{R}^{M \times 4}$表示，用于编码左手、右手、背景以及无类别这几种类别。左手和右手标签对应由双手直接产生的事件，而背景标签则对应由非手部物体（如躯干或手臂运动）或背景变化产生的事件。额外的“无类别”标签用于标识某个事件点在时间窗口内结合了多个具有不同标签的事件，例如在同一时间窗口内同一像素处同时触发了左手事件和背景事件。
特征级注意力模块。受注意力机制的启发[^3] [^58]，我们希望模型能够提取出与每只手相关的特征。为此，我们设计了如下的特征级注意力模块：
$$ \mathrm{A t t e n t i o n}(\mathbb{Q}_{(\cdot)},\mathbb{S},\mathbb{F})=\mathbb{F}\left(\mathrm{S o f t m a x}\left(\frac{\mathbb{Q}_{(\cdot)}^{T}\mathbb{S}}{\sqrt{d_{s}}}\right)\right), $$
其中，手部特征$\mathbb{Q}_L$或$\mathbb{Q}_R$会被键值$\mathbb{S}$进行掩码处理，Softmax函数则用于对事件特征$\mathbb{F}$进行线性组合。需要注意的是，公式(3)会分别应用于每只手，从而生成双手注意力特征$\mathbf{H}_L, \mathbf{H}_R \in \mathbb{R}^{M \times d_s}$；$d_s$代表$\mathbb{S}$的维度。
特征级注意力机制旨在使注意力特征H成为手部特征Q的函数，同时也能响应来自S的分割预测结果。这有助于模型识别出与特定手部或交互条件更相关的特征，我们的实验也证实了这一点。此外，我们还发现特征级注意力机制能够优化分割预测S——该分割预测基于合成数据实现半监督学习，且仅通过监督手部参数就能在真实事件数据上端到端训练。
手部参数回归器。最后，利用手部特定的注意力特征，我们为每只手预测参数$\{\theta, \beta, \mathbf{R}, \mathbf{t}\}$。针对这一任务，我们采用了mini-PointNet[^39]配合MLP的结构。由于每个手部回归器都以各自的手部特定特征作为输入，因此两个模型之间不存在权重共享。
#### 3.4. 损失函数
3D关节损失。该损失函数用于惩罚手部模型预测的3D关节与每只手的真实3D关节标注之间的偏差。为简化表述，我们省略了左手和右手的索引：
$$ \mathcal{L}_{\mathrm{j o i n t s}}=\frac{1}{N_{J}}\sum_{i=1}^{N_{J}}\|\hat{\mathbf{J}}_{i}-\mathbf{J}_{i}\|, $$
其中$\hat{J}_i$和$J_i$分别为第i个预测3D关节和真实3D关节，$N_J$则表示手部关节的数量。
MANO损失。该项用于惩罚预测手部参数与参考手部参数之间的偏差。PCA姿态和形状系数$\theta$与$\beta$，以及全局旋转$\mathbf{R}$会通过$\ell_2$距离进行惩罚，而刚性平移$\mathbf{t}$则通过$\ell_1$距离进行监督：
$$ \mathcal{L}_{\mathrm{M A N O}}=\|\hat{\boldsymbol{\theta}}-\boldsymbol{\theta}\|^{2}+\|\hat{\boldsymbol{\beta}}-\boldsymbol{\beta}\|^{2}+\|\hat{\mathbf{R}}-\mathbf{R}\|^{2}+\|\hat{\mathbf{t}}-\mathbf{t}\| $$
其中$\hat{\theta}, \hat{\beta}, \hat{\mathbf{R}}, \hat{\mathbf{t}}$由手部回归器预测得出，$\theta, \beta, \mathbf{R}, \mathbf{t}$则为参考手部参数。
分割损失。分割损失是一种中间监督机制，用于惩罚$\mathbb{S}$中错误的事件类别。
---
在我们的实验中，只有当模型在合成数据上训练时才会出现这种情况。当在真实事件数据上训练时，分割分支仅通过从手部参数监督中传播的梯度来接受间接监督。分割损失如下：
$$ \mathcal{L}_{\mathrm{s e g}}=\mathrm{C r o s s E n t r o p y}(\mathrm{S o f t m a x}(\mathbb{S}),\mathbf{c}), $$
其中，c表示考虑左手、右手和背景的事件类别标签。需要注意的是，对应无类别的键并未受到监督。
手间损失。该损失项同时考虑两只手，并惩罚左手和右手形状参数之间的偏差以及两只手之间的相对位置偏差。手间损失表示为：
$$ \mathcal{L}_{\mathrm{i n t e r h a n d}}=\|\beta_{\mathrm{l e f t}}-\beta_{\mathrm{r i g h t}}\|^{2}+\mathcal{I}_{J}+\mathcal{I}_{T},\mathrm{w h e r e} $$
$$ \mathcal{I}_{J}=\frac{1}{N_{J}}\sum_{i=1}^{N_{J}}\|(\hat{\mathbf{J}}_{\mathrm{left},i}-\hat{\mathbf{J}}_{\mathrm{right},i})-(\mathbf{J}_{\mathrm{left},i}-\mathbf{J}_{\mathrm{right},i})\|^{2} $$
$$ \mathcal{I}_{T}=\|(\hat{\mathbf{t}}_{\mathrm{left}}-\hat{\mathbf{t}}_{\mathrm{right}})-(\mathbf{t}_{\mathrm{left}}-\mathbf{t}_{\mathrm{right}})\|^{2}. $$
inter-3D joint $\mathcal{I}_J$项和inter-translation $\mathcal{I}_T$项分别用于衡量左右手之间的相对关节误差和相对距离误差。交叉损失。我们通过惩罚交叉现象来避免物理上无效的预测，这些交叉现象既源于关节运动也源于手与手之间的相互作用。我们采用网格的圆锥距离场近似方法[^57]来计算碰撞损失。具体做法是先利用包围盒层次结构[^18]找出相互碰撞的三角形集合。对于每个三角形，会构建一个由外接圆和面朝向定义的3D圆锥。可以计算每个查询点到圆锥表面的距离，将所有相关三角形的这些距离之和近似为手的距离场。距离场的值代表了所需的排斥力大小$\mathcal{L}_{\text{isec}}$，用以惩罚这种侵入行为。关于$\mathcal{L}_{\text{isec}}$的精确定义，请参阅Tzionas等人的研究[^57]。
MANO正则化。除了上述损失外，我们还通过使用Tikhonov正则化器[^33]，在MANO的PCA参数空间中对手部预测进行正则化：
$$ \mathcal{L}_{r e g}=\lambda_{\theta}\|\hat{\boldsymbol{\theta}}\|^{2}+\lambda_{\beta}\|\hat{\boldsymbol{\beta}}\|^{2}, $$
其中$\lambda_{\theta}=0.025$和$\lambda_{\beta}=25$。该项会惩罚统计上不太可能出现的MANO参数。
总损失。总体而言，我们的总损失表示为：
$$ \begin{aligned}\mathcal{L}=\lambda_{joints}\mathcal{L}_{joints}+\lambda_{MANO}\mathcal{L}_{MANO}+\lambda_{seg}\mathcal{L}_{seg}\\+\lambda_{interhand}\mathcal{L}_{interhand}+\lambda_{isec}\mathcal{L}_{isec}+\mathcal{L}_{reg},\end{aligned} $$
其中，权重$\lambda_{\text{joints}}=0.01$、$\lambda_{\text{MANO}}=10$、$\lambda_{\text{seg}}=1$、$\lambda_{\text{interhand}}=100$、$\lambda_{\text{isec}}=100$是根据经验选定的，用以平衡各损失项的不同量级。
基于真实数据的训练。尽管我们的大规模合成数据集（第4.1节）包含了高度多样的姿态，但我们的模型仍可通过在真实事件流上微调来进一步缩小域差距。然而，真实数据不提供事件分割标签，且DAVIS346C的内参可能与合成数据存在差异。为解决第一个问题，我们从损失函数中移除$L_{seg}$，仅根据手部参数监督来间接学习$\mathcal{S}$。为了缓解可能导致3D关节位置差异的内参变化，我们用2D投影关节损失替换3D关节损失：
$$ \begin{aligned}\mathcal{L}_{real}=&\lambda_{joints2D}\mathcal{L}_{joints2D}+\lambda_{interhand}\mathcal{L}_{interhand}+\\&\lambda_{isec}\mathcal{L}_{isec}+\mathcal{L}_{reg},where\end{aligned} $$
$$ \mathcal{L}_{\mathrm{j o i n t s2D}}=\frac{1}{N_{J}}\sum_{i=1}^{N_{J}}\|\Pi_{S}(\hat{\mathbf{J}}_{i})-\Pi_{R}(\mathbf{J}_{i})\|, $$
其中$\Pi_{S}$和$\Pi_{R}$分别是模拟事件相机和真实事件相机的投影算子。$\mathcal{L}_{\text{real}}$使得模型能够在真实数据上训练的同时，仍通过我们的注意力机制优化半监督分割分支。
### 4. Ev2Hands数据集
为了训练我们的模型，我们需要提供事件数据和标签，以指导第3.4节中描述的损失函数。然而，目前还没有包含标注的双手交互事件流的数据集。为解决这一问题，我们合成了一个大规模的事件流数据集，并使用一台DAVIS346C事件相机采集了真实世界数据集。这两个数据集都包含了与事件流同步的RGB视频。我们将合成数据集和真实数据集分别称为Ev2Hands-S和Ev2Hands-R。有关数据示例，请参见图3和图4。据我们所知，这些是首个用于建模双手交互的事件流数据集。您也可以观看我们的视频以获取动态可视化效果。接下来我们将详细介绍这些数据集。
#### 4.1. Ev2Hands-S数据集
我们通过渲染两只交互手的合成视频来生成合成数据集，随后将这些视频输入到事件流模拟器VID2E [^13]中。
#### 交互手动画：我们利用InterHand2.6M数据集 [^29] [^30]来获取两只手的真实MANO参数，从而生成逼真的手部运动。对于InterHand2.6M中的每个序列，我们对标注进行线性插值，以获得帧率更高且更平滑的序列，同时填补标注中的空缺（主要是由于真实数据偶尔缺失所致）。这也有助于我们调整动画帧率。
---
Figure 3. Sample from Ev2Hands-S with input image (left), event stream (middle), and segmentation labels (right).
Figure 4. Sample from Ev2Hands-R with motion tracking setup (left) used for obtaining the reference hand poses, RGB stream (middle), and event stream (right).
通过重新采样这些序列，为训练数据增加了更多多样性。最终，我们从模拟视频中获得了$3.12 \cdot 10^{8}$个事件。
场景建模：我们使用MANO [^45]来对手部进行建模，并在手部基座上添加圆柱体以模拟前臂。我们为手部贴上HTML纹理 [^41]，并使用Pyrender [^26]来渲染模型。更多细节请参阅补充材料。
渲染与事件流生成：我们使用透视相机渲染场景，垂直视场角为$30^{\circ}$，分辨率为$346 \times 240$，以模拟DAVIS346C [^16]的规格。由于实验中使用的是彩色事件相机，我们对渲染图像应用RGGB拜耳滤镜 [^44]。我们将第i帧的“拜耳化”图像 $B_{i}$ 转换为时间$L(t_{i})$下的对数强度 $t_{i}$，转换公式如下：
$$ L(t_{i})=\log(B_{i}+\epsilon), $$
其中$\epsilon$被设为$10^{-4}$以保证数值稳定性。我们将对数强度图像传入事件流模拟器 [^13]，设定事件阈值为C。我们参照Rudnev等人 [^46] 采用的方法来确定C值，使其与我们的DAVIS346C事件相机匹配，最终得到$C = 0.4$。
### 4.2. Ev2Hands-R数据集
为了用真实的事件相机评估我们的方法，并进一步缩小合成数据与真实数据之间的差距，我们收集了Ev2Hands-R数据集。
数据集构成：该数据集侧重于日常手部使用场景，涵盖了广泛的运动范围和参与者间的差异。参与者被要求以不受限制的方式完成一系列动作。我们总共记录了来自五名不同体型、不同肤色的参与者的八组序列，因此手部形状和特征也存在差异。这些序列展示了复杂度逐渐递增的各种手部动作：手掌波动、手背波动、手腕旋转、手部关节运动、拍手、交叉、遮挡以及自由风格动作。
数据采集设置。我们使用DAVIS346C事件相机和Sony RX0高速RGB相机来采集所有序列数据。参考用的3D手部姿态是通过商用多视角人体运动跟踪系统[^55]获取的，该系统包含29个外部摄像头（见图4）。所有31个摄像头均经过同步处理，且联合校准后的重投影误差低于3毫米（这一精度远高于单目3D手部姿态估计技术的精度）。所采集的事件数据与RGB帧（以及对应的3D手部姿态）总计持续20.1分钟。
#### 5. 实验
我们在双手3D重建任务中对Ev2Hands进行评估，评估所用数据集为Ev2Hands-S和Ev2Hands-R。
Ev2Hands-S数据集。我们采用InterHand2.6M中的原始训练集与测试集划分方式[^29]，以合成的事件流作为输入，在测试集上评估我们的方法。我们将预测结果插值得到的参考姿态与真实姿态进行对比，具体细节详见第4.1节及补充材料。
Ev2Hands-R数据集。我们选取两名受试者利用真实数据对方法进行微调，再选取三名受试者进行评估。为了确定性能指标的基准，我们选用三种声称适用于自然场景数据的RGB方法[^4] [^22] [^27]，在同步的RGB视频流上对其进行评估。需要注意的是，尽管我们只评估有对应RGB帧的事件预测结果，但由于我们的方法具有更高的时间分辨率，即便没有RGB输入，该方法仍能正常工作；不过这一优势并未体现在性能指标中。
评估指标。在定量比较中，我们采用关键点正确百分比（PCK）以及阈值范围在0到100毫米之间的PCK曲线下面积（AUC）。参照Li等人的研究方法[^22]，我们报告相对PCK（R-PCK）和相对AUC（R-AUC）分数，用以评估每只手的3D手部姿态估计性能。为了评估两只手之间的定位性能，我们扩展了平均相对根部位置误差[^29]的概念，并报告相对根部PCK（RR-PCK）和相对AUC（RR-PCK）分数。与需先对每只手进行根部关节对齐才能计算的R-PCK不同，RR-PCK是将整个双手姿态与参考姿态中的右手根部对齐后再进行计算，因此RR-PCK指标能更好地评估双手的相对3D位置。为了评估交互手部之间的网格穿透情况，我们采用每个网格的碰撞百分比“Coll%”作为指标，该指标表示相互交叠的网格三角形所占的百分比。我们取双手间距小于50毫米时的帧平均值作为最终结果，数值越低说明交互手部之间的网格穿透现象越轻。
---
| Palm wave | Dorsal wave | Wrist rot. | Articulation | Clap | Intersection | Occlusion | Free Style | Avg. |
| R-AUC | RR-AUC | R-AUC | R-AUC | R-AUC | R-AUC | R-AUC | R-AUC | R-AUC | RR-AUC | R-AUC | RR-AUC | R-AUC | RR-AUC | R-AUC | RR-AUC | R-AUC | R-AUC |
| $^{\dagger}$Boukhayma et al. [^4]* | 0.50 | - | 0.49 | - | 0.33 | - | 0.45 | - | 0.29 | - | 0.27 | - | 0.28 | - | 0.45 | - | 0.38 | - |
| $^{\ddagger}$Li et al. [^22] | 0.67 | 0.43 | 0.69 | 0.42 | 0.57 | 0.34 | 0.62 | 0.43 | 0.59 | 0.41 | 0.51 | 0.38 | 0.55 | 0.37 | 0.63 | 0.46 | 0.60 | 0.40 |
| $^{\dagger}$Moon et al. [^27] | 0.65 | 0.33 | 0.69 | 0.35 | 0.67 | 0.34 | 0.65 | 0.35 | 0.6 | 0.36 | 0.62 | 0.42 | 0.64 | 0.44 | 0.61 | 0.33 | 0.64 | 0.36 |
| EventHands [^46]* | 0.41 | 0.31 | 0.48 | 0.21 | 0.31 | 0.40 | 0.43 | 0.42 | 0.45 | 0.29 | 0.28 | 0.35 | 0.28 | 0.33 | 0.43 | 0.28 | 0.38 | 0.32 |
| Ev2Hands (Ours) | 0.66 | 0.53 | 0.69 | 0.54 | 0.63 | 0.52 | 0.63 | 0.52 | 0.65 | 0.54 | 0.60 | 0.50 | 0.63 | 0.54 | 0.62 | 0.50 | 0.64 | 0.52 |
Table 1. Comparison on Ev2Hands-R. “+” denotes RGB-based and “*” denotes single-hand methods. Ev2Hands outperforms existing approaches in most of the activities by a fair margin while estimating hands with a much higher temporal resolution. Red, orange and yellow denote the highest, the second-highest and the third-highest AUC scores, respectively.
Figure 5. A qualitative comparison of our Ev2Hands method with previous RGB-based [^4] [^22] [^27] and event-based [^46] methods. Note how EventHands and Boukhayma et al. fail to predict interacting hands and how Li et al. fail with low-light RGB.
这表明交互手部之间的网格穿透现象较轻。
实现细节。我们的网络基于PyTorch实现[^36]，采用Adam优化器[^19]，学习率为$5 \cdot 10^{-5}$，小批量大小为128。我们在Ev2Hands-S数据集上训练$8 \cdot 10^5$次迭代，在Ev2Hands-R数据集上微调$1.5 \cdot 10^4$次迭代。网络以时间窗口T内的最后一帧参考姿态为监督信号，模拟最接近当前时刻的手部位置。事件流的时间分辨率被设定为1000 FPS，这是通过采用2毫秒的窗口时间且重叠1毫秒来实现的。
#### 5.1. 与现有最先进方法的对比
在表1中，我们将我们的方法与Ev2Hands-R上的最先进姿态估计方法进行了比较。我们评估了单手[^4] [^46]和双手[^22] [^27]方法。Ev2Hands的性能显著优于单手事件驱动方法和单手RGB方法，这可能是因为后者无法处理严重的遮挡情况。所提出的方法在大多数情况下也优于基于RGB的双手方法[^22] [^27]，尤其是在考虑更具挑战性的RR-AUC指标时，同时其时间分辨率也更高。对于基于RGB的方法[^4] [^22]，我们以裁剪后的手部真实图像作为输入，而[^27]及我们的方法则无需手部裁剪输入。对于基于事件的方法[^46]，我们采用自己的方法来为每只手生成事件标签，随后将这些标签作为输入提供给[^46]以重建手部的位置和姿态。由于Boukhayma等人[^4]对每只手采用了缩放正交投影，因此无法计算RR-PCK和RR-AUC指标。从图5中可以看出，EventHands [^46]无法重建手部交互，而基于RGB的方法在低光照图像下也表现不佳。我们还在表2和图6中将我们的方法与在不同相机帧率下拍摄的图像上的RGB基方法进行了比较，这些图像模拟了因快门速度快以及手部快速运动导致的运动模糊所产生的低光照环境。在这种条件下，基于RGB的方法表现极差，而我们的方法则能以更高的时间分辨率输出合理的预测结果。
| High Shutter Speed (500 FPS) | Fast Motion (25 FPS) |
| R-AUC | RR-AUC | Coll% | R-AUC | RR-AUC | Coll% |
| Li et al. [^22] | 0.24 | 0.12 | 19.99 | 0.38 | 0.25 | 12.67 |
| Moon et al. [^27] | 0.41 | 0.23 | 6.71 | 0.4 | 0.23 | 6.82 |
| Ev2Hands (Ours) | 0.47 | 0.30 | 0.57 | 0.53 | 0.36 | 4.09 |
Table 2. Ev2Hands outperforms Li et al. [^22] and Moon et al. [^27] on under-exposed high-speed (500 FPS) videos and blurry fast motions (25 FPS) by a fair margin while estimating 3D hand poses with a much higher temporal resolution (1000 FPS).
### 5.2. 消融研究
表示形式的影响。我们在表3（上部）中系统研究了不同事件表示形式的影响。
---
Figure 6. Our event-based method performs well, whereas RGB-based methods [^22] [^27] fail, notably due to motion blur and scene underexposure under low lighting conditions.
| R-AUC $\uparrow$ | RR-AUC $\uparrow$ | Coll% $\downarrow$ |
| LNES [^46] | 0.56 | 0.46 | 8.13 |
| Raw events | 0.62 | 0.46 | 7.98 |
| Event Cloud (EC) adapted from [^6] | 0.66 | 0.53 | 8.39 |
| EC+Attention | 0.69 | 0.57 | 8.38 |
| EC+Attention+ $\mathcal{L}_{\text{seg}}$ | 0.75 | 0.66 | 8.39 |
| EC+Attention+ $\mathcal{L}_{\text{seg}}$+IAL | 0.72 | 0.63 | 6.69 |
Table 3. Ablation study on Ev2Hands-S with different event representations (top) and different components of our method (bottom). “IAL” refers to the Intersection Aware Loss $\mathcal{L}_{isec}$.
| R-AUC $\uparrow$ | RR-AUC $\uparrow$ | Coll% $\downarrow$ |
| Event Cloud (EC) | 0.35 | 0.37 | 7.53 |
| EC+Attention | 0.38 | 0.40 | 7.62 |
| EC+Attention+ $\mathcal{L}_{seg}$ | 0.41 | 0.43 | 7.52 |
| EC+Attention+ $\mathcal{L}_{seg}$+IAL | 0.39 | 0.41 | 7.49 |
| EC+Attention+ $\mathcal{L}_{seg}$+IAL+FT | 0.64 | 0.52 | 5.12 |
Table 4. Ablation on Ev2Hands-R with different losses and training strategies. “FT” refers to fine-tuning on real data.
RGB View
输入事件云
with IAL
without IAL
Figure 7. Influence of the Intersection Aware Loss (IAL).
尽管LNES [^46]在Coll%指标上优于事件点云表示形式，但它在交互手部的精确姿态估计方面表现欠佳（R-PCK指标）。EC表示形式能提供最佳的姿态估计得分。
注意力机制的影响。我们在合成数据集和真实数据集上对所提出的架构和损失函数进行了消融实验（表3和表4）。我们发现，即使没有监督信息，特征级注意力机制也能提升方法的性能（EC+Attention）。当加入来自合成数据的额外分割监督后，性能可进一步提升。
Figure 8. Predicted segmentation without (middle) and with fine-tuning on real data without segmentation labels (right).
值得注意的是，我们观察到即使在仅使用姿态标注进行微调的真实数据上，注意力机制也能学习到合理的分割值；详见表4和图8。
交集损失的影响。通过显式建模手部交集（experiments+IAL），如Coll%所示，手部相互穿透的程度有所降低。虽然姿态估计性能略有下降，但我们推测这是因为姿态预测的微小偏差在手部剧烈交互的情况下会导致大量相互穿透现象。不过，由于交互的物理合理性对许多应用而言至关重要，这种权衡仍可能具有优势。定性对比结果如图7所示。
## 6. 结论
我们提出了Ev2Hands，这是首个基于事件流进行双手3D手部姿态估计的方法。我们的事件云表示法结合新颖的基于注意力的分割机制与碰撞缓解损失函数，能够推断出两只交互手部的合理3D姿态；在真实事件流上，该方法在我们提出的基准数据集Ev2Hands-R上的表现优于相关方法。这得益于我们新构建的合成数据集Ev2Hands-S，该数据集提供了3D姿态、分割标签以及对应的RGB图像——这些内容在真实事件流中很难获取。此外，Ev2Hands在低光照条件下也能良好工作，并且能够估计高速运动的3D手部动作。
我们的Ev2Hands假设相机是固定的。虽然这在传统的RGB方法中并非问题，但移动的（便携式）事件相机会产生大量背景杂波。未来的研究可以探讨如何提取由感兴趣物体产生的事件。另一个令人兴奋的研究方向是将RGB流与事件流相结合，从而在保留事件流低延迟特性的同时提升数据的视觉保真度。这将使快速运动手部的高质量纹理3D重建成为可能。由于这也是首项从单事件流中对多个非刚性物体进行3D重建的研究，我们相信它能为未来的研究带来启发。
致谢。本研究得到了ERC Consolidator项目4DReply（编号770784）的支持。
---
## 参考文献
[^1]: Ahmad Sami Al-Shamayleh, Rodina Ahmad, Mohammad AM Abushariah, Khubaib Amjad Alam, and Nazean Jomhari. A systematic literature review on vision based gesture recognition techniques. Multimedia Tools and Applications, 77:28121–28184, 2018. 1
[^2]: Seungryul Baek, Kwang In Kim, and Tae-Kyun Kim. Pushing the envelope for rgb-based dense 3d hand pose estimation via neural rendering. In Computer Vision and Pattern Recognition (CVPR), 2019. 1,2
[^3]: Dzmitry Bahdanau, Kyunghyun Cho, and Yoshua Bengio. Neural machine translation by jointly learning to align and translate. arXiv:1409.0473, 2014. 4
[^4]: Adnane Boukhayma, Rodrigo de Bem, and Philip HS Torr. 3d hand shape and pose from images in the wild. In Computer Vision and Pattern Recognition (CVPR), 2019. 1, 2, 6, 7, 13, 15
[^5]: Géry Casiez, Nicol and Daniel Vogel. 1€ filter: a simple spec noisy input in interactive Factors in
[^6]: Jiaan Chen, Hao Shi, Yaozu Ye, Kailun Yang, Lei Sun, and Kaiwei Wang. Efficient human pose estimation via 3d event point cloud. In International Conference on 3D Vision (3DV), 2022. 2, 3, 8
[^7]: Ming Jin Cheok, Zaid Omar, and Mohamed Hisham Jaward. A review of hand gesture and sign language recognition techniques. International Journal of Machine Learning and Cybernetics, 10:131–153, 2019. 1
[^8]: Enric Corona, Tomas Hodan, Minh Vo, Francesc Moreno-Noguer, Chris Sweeney, Richard Newcombe, and Lingni Ma. Lisa: Learning implicit shape and appearance of hands. In Computer Vision and Pattern Recognition (CVPR), 2022. 2
[^9]: Laura Dipietro, Angelo M. Sabatini, and Paolo Dario. A survey of glove-based systems and their applications. IEEE Transactions on Systems, Man, and Cybernetics, Part C (Applications and Reviews), 38(4):461–482, 2008. 1
[^10]: Zicong Fan, Adrian Spurr, Muhammed Kocabas, Siyu Tang, Michael J Black, and Otmar Hilliges. Learning to disambiguate strongly interacting hands via probabilistic per-pixel part segmentation. In International Conference on 3D Vision (3DV), 2021. 2
[^11]: Guillermo Garcia-Hernando, Shanxin Yuan, Seungryul Baek, and Tae-Kyun Kim. First-person hand action benchmark with rgb-d videos and 3d hand pose annotations. In Computer Vision and Pattern Recognition (CVPR), 2018. 2
[^12]: Liuhao Ge, Zhou Ren, Yuncheng Li, Zehao Xue, Yingying Wang, Jianfei Cai, and Junsong Yuan. 3d hand shape and pose estimation from a single rgb image. In Computer Vision and Pattern Recognition (CVPR), 2019. 1,2
[^13]: Daniel Gehrig, Mathias Gehrig, Javier Hidalgo-Carrió, and Davide Scaramuzza. Video to events: Recycling video datasets for event cameras. In Computer Vision and Pattern Recognition (CVPR), 2020. 5, 6, 12
[^14]: Shreyas Hampali, Sayan Deb Sarkar, Mahdi Rad, and Vincent Lepetit. Keypoint transformer: Solving joint identifica-
在复杂的手部与物体交互场景中实现精确的3D姿态估计。载于计算机视觉与模式识别会议（CVPR），第11090–11100页，2022年。2
[^15]: Mohamed Hassan, Vasileios Choutas, Dimitrios Tzionas, and Michael J Black. Resolving 3d human pose ambiguities with 3d scene constraints. In International Conference on Computer Vision (ICCV), pages 2282–2292, 2019. 1
[^16]: iniVation. Davis 346. , 2019.6
[^17]: Umar Iqbal, Pavlo Molchanov, Thomas Breuel Juergen Gall, and Jan Kautz. Hand pose estimation via latent 2.5d heatmap regression. In European Conference on Computer Vision (ECCV), 2018. 2
[^18]: Tero Karras. Maximizing parallelism in the construction of bvhs, octrees, and k-d trees. In Proceedings of the Fourth ACM SIGGRAPH / Eurographics Conference on High-Performance Graphics, pages 33–37. Eurographics Association, 2012. 5
[^19]: Diederik P Kingma and Jimmy Ba. Adam: A method for stochastic optimization. arXiv:1412.6980, 2014. 7
[^20]: Dominik Kulon, Riza Alp Guler, Iasonas Kokkinos, Michael M. Bronstein, and Stefanos Zafeiriou. Weakly-supervised mesh-convolutional hand reconstruction in the wild. In Computer Vision and Pattern Recognition (CVPR), 2020. 2
[^21]: Qujiang Lei, Hongda Zhang, Zanwu Xia, Yang Yang, Yue He, and Shoubin Liu. Applications of hand gestures recognition in industrial robots: a review. In Eleventh International Conference on Machine Vision (ICMV 2018), pages 455–465. SPIE, 2019. 1
[^22]: Mengcheng Li, Liang An, Hongwen Zhang, Lianpeng Wu, Feng Chen, Tao Yu, and Yebin Liu. Interacting attention graph for single image two-hand reconstruction. In Computer Vision and Pattern Recognition (CVPR), pages 2761–2770, 2022. 2, 6, 7, 8, 13, 15, 16
[^23]: Shile Li and Dongheui Lee. Point-to-pose voting based hand pose estimation using residual permutation equivariant layer. In Computer Vision and Pattern Recognition (CVPR), pages 11927–11936, 2019. 2
[^24]: Jameel Malik, Ibrahim Abdelaziz, Ahmed Elhayek, Soshi Shimada, Sk Aziz Ali, Vladislav Golyanik, Christian Theobalt, and Didier Stricker. Handvoxnet: Deep voxel-based network for 3d hand shape and pose estimation from a single depth map. In Computer Vision and Pattern Recognition (CVPR), pages 7113–7122, 2020. 2
[^25]: Ana I Maqueda, Antonio Loquercio, Guillermo Gallego, Narciso García, and Davide Scaramuzza. Event-based vision meets deep learning on steering prediction for self-driving cars. In Computer Vision and Pattern Recognition (CVPR), pages 5419–5427, 2018. 3
[^26]: Matthew Matl. Pyrender. , 2019.6, 12
### [^27]: Gyeongsik Moon. Bringing inputs to shared domains for 3d interacting hands recovery in the wild. In The IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2023. 2, 6, 7, 8, 13, 15, 16
---
[^28]: Gyeongsik Moon, Takaaki Shiratori, and Kyoung Mu Lee. Deephandmesh: A weakly-supervised deep encoder-decoder framework for high-fidelity hand mesh modeling. In European Conference on Computer Vision (ECCV), 2020. 2
[^29]: Gyeongsik Moon, Shoou-I Yu, He Wen, Takaaki Shiratori, and Kyoung Mu Lee. Interhand2.6m: A dataset and baseline for 3d interacting hand pose estimation from a single rgb image. In European Conference on Computer Vision (ECCV), 2020. 1, 2, 5, 6, 12
[^30]: Gyeongsik Moon, Hongsuk Choi, and Kyoung Mu Lee. Neuralannot: Neural annotator for 3d human mesh training sets. In Computer Vision and Pattern Recognition (CVPR), 2022. 5, 12
[^31]: Franziska Mueller, Dushyant Mehta, Oleksandr Sotnychenko, Srinath Sridhar, Dan Casas, and Christian Theobalt. Real-time hand tracking under occlusion from an egocentric rgb-d sensor. In International Conference on Computer Vision (ICCV), 2017. 2
[^32]: Franziska Mueller, Florian Bernard, Oleksandr Sotnychenko, Dushyant Mehta, Srinath Sridhar, Dan Casas, and Christian Theobalt. Generated hands for real-time 3d hand tracking from monocular rgb. In Computer Vision and Pattern Recognition (CVPR), 2018. 2
[^33]: Franziska Mueller, Micah Davis, Florian Bernard, Oleksandr Sotnychenko, Mickeal Verschoor, Miguel A Otaduy, Dan Casas, and Christian Theobalt. Real-time pose and shape reconstruction of two interacting hands with a single depth camera. ACM Transactions on Graphics (ToG), 38(4):1–13, 2019. 2, 5
[^34]: Jalees Nehvi, Vladislav Golyanik, Franziska Mueller, Hans-Peter Seidel, Mohamed Elgharib, and Christian Theobalt. Differentiable event stream simulator for non-rigid 3d tracking. In CVPR Workshop on Event-based Vision, 2021. 1, 2
[^35]: Federico Paredes-Vallés and Guido CHE de Croon. Back to event basics: Self-supervised learning of image reconstruction for event cameras via photometric constancy. In Computer Vision and Pattern Recognition (CVPR), pages 3446–3455, 2021. 1
[^36]: Adam Paszke, Sam Gross, Francisco Massa, Adam Lerer, James Bradbury, Gregory Chanan, Trevor Killeen, Zeming Lin, Natalia Gimelshein, Luca Antiga, et al. Pytorch: An imperative style, high-performance deep learning library. Advances in Neural Information Processing Systems, 32, 2019. 7
[^37]: Matt Pharr, Wenzel Jakob, and Greg Humphreys. Physically based rendering: From theory to implementation. Morgan Kaufmann, 2016. 12
[^38]: Chiara Plizzari, Mirco Planamente, Gabriele Goletto, Marco Cannici, Emanuele Gusso, Matteo Matteucci, and Barbara Caputo. E2 (go) motion: Motion augmented event stream for egocentric action recognition. In Computer Vision and Pattern Recognition (CVPR), 2022. 1
[^39]: Charles R Qi, Hao Su, Kaichun Mo, and Leonidas J Guibas. Pointnet: Deep learning on point sets for 3d classification and segmentation. In Computer Vision and Pattern Recognition (CVPR), 2017. 2,4
[^40]: Charles R Qi, Li Yi, Hao Su, and Leonidas J Guibas. Point-net++: Deep hierarchical feature learning on point sets in a metric space. arXiv:1706.02413, 2017. 2, 4
[^41]: Neng Qian, Jiayi Wang, Franziska Mueller, Florian Bernard, Vladislav Golyanik, and Christian Theobalt. HTML: A Parametric Hand Texture Model for 3D Hand Reconstruction and Personalization. In European Conference on Computer Vision (ECCV). Springer, 2020. 2, 6
[^42]: Siddharth S Rautaray and Anupam Agrawal. Vision based hand gesture recognition for human computer interaction: a survey. Artificial intelligence review, 43:1–54, 2015. 1
[^43]: Henri Rebecq, Timo Horstschaefer, and Davide Scaramuzza. Real-time visual-inertial odometry for event cameras using keyframe-based nonlinear optimization. In The British Machine Vision Conference (BMVC). IEEE, 2017. 3
[^44]: Henri Rebecq, René Ranftl, Vladlen Koltun, and Davide Scaramuzza. High speed and high dynamic range video with an event camera. IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI), 43(6):1964–1980, 2019. 1,6
[^45]: Javier Romero, Dimitrios Tzionas, and Michael J. Black. Embodied hands: Modeling and capturing hands and bodies together. ACM Transactions on Graphics, (Proc. SIGGRAPH Asia), 36(6), 2017. 2, 3, 6
[^46]: Viktor Rudnev, Vladislav Golyanik, Jiayi Wang, Hans-Peter Seidel, Franziska Mueller, Mohamed Elgharib, and Christian Theobalt. Eventhands: Real-time neural 3d hand pose estimation from an event stream. In International Conference on Computer Vision (ICCV), 2021. 1, 2, 3, 6, 7, 8, 13, 15
[^47]: Viktor Rudnev, Mohamed Elgharib, Christian Theobalt, and Vladislav Golyanik. Eventnerf: Neural radiance fields from a single colour event camera. In Computer Vision and Pattern Recognition (CVPR), 2023. 1
[^48]: Alberto Sabater, Luis Montesano, and Ana C Murillo. Event transformer. a sparse-aware solution for efficient event data processing. In Computer Vision and Pattern Recognition (CVPR), 2022. 1
[^49]: Cedric Scheerlinck, Nick Barnes, and Robert Mahony. Continuous-time intensity estimation using event cameras. In Asian Conference on Computer Vision (ACCV), pages 308–324. Springer, 2018. 1
[^50]: Soshi Shimada, Vladislav Golyanik, Patrick Pérez, and Christian Theobalt. Decaf: Monocular deformation capture for face and hand interactions. ACM Transactions on Graphics (TOG), 42(6), 2023. 1
[^51]: Srinath Sridhar, Franziska Mueller, Antti Oulasvirta, and Christian Theobalt. Fast and robust hand tracking using detection-guided optimization. In Computer Vision and Pattern Recognition (CVPR), pages 3213–3221, 2015. 2
[^52]: Thad Starner, Jake Auxier, Daniel Ashbrook, and Maribeth Gandy. The gesture pendant: a self-illuminating, wearable, infrared computer vision system for home automation control and medical monitoring. In Digest of Papers. Fourth International Symposium on Wearable Computers, pages 87–94, 2000. 1
#### [^53]: Zhaoning Sun, Nico Messikommer, Daniel Gehrig, and Davide Scaramuzza. Ess: Learning event-based semantic segmentation from still images. In European Conference on
---
计算机视觉会议（ECCV），第341–357页。施普林格出版社，2022年。
[^54]: Jonathan Taylor, Vladimir Tankovich, Danhang Tang, Cem Keskin, David Kim, Philip Davidson, Adarsh Kowdle, and Shahram Izadi. Articulated distance fields for ultra-fast tracking of hands interacting. ACM Transactions on Graphics (TOG), 36(6):1–12, 2017. 2
[^55]: The Captury. , 2023. 6, 12
[^56]: Edith Tretschk, Navami Kairanda, Mallikarjun B R, Rishabh Dabral, Adam Kortylewski, Bernhard Egger, Marc Habermann, Pascal Fua, Christian Theobalt, and Vladislav Golyanik. State of the art in dense monocular non-rigid 3d reconstruction. Computer Graphics Forum (Eurographics State of the Art Reports), 2023. 1
[^37]: Dimitrios Izionas, Luca Bahan, Adniasn Srikantna, Radio Aponte, Marc Pollefeys, and Juergen Gall. Capturing hands in action using discriminative salient points and physics simulation. International Journal of Computer Vision (IJCV), 118(2):172–193, 2016. 5
[^58]: Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Łukasz Kaiser, and Illia Polosukhin. Attention is all you need. In International Conference on Neural Information Processing Systems (NeurIPS), 2017. 4
[^59]: Jiayi Wang, Franziska Mueller, Florian Bernard, Suzanne Sorli, Oleksandr Sotnychenko, Neng Qian, Miguel A Otaduy, Dan Casas, and Christian Theobalt. Rgb2hands: Real-time tracking of 3d hand interactions from monocular гб video. ACM Transactions on Graphics (ToG), 39(6), 2020. 1, 2, 13
[^60]: Jiayi Wang, Diogo Luvizon, Franziska Mueller, Florian Bernard, Adam Kortylewski, Dan Casas, and Christian Theobalt. Handflow: Quantifying view-dependent 3d ambiguity in two-hand reconstruction with normalizing flow. In Vision, Modeling, and Visualization (VMV), 2022. 2
[^61]: Qinyi Wang, Yexin Zhang, Junsong Yuan, and Yilong Lu. Space-time event clouds for gesture recognition: From RGB cameras to event cameras. In Winter Conference on Applications of Computer Vision (WACV), pages 1826–1835, 2019. 2
[^62]: Lan Xu, Weipeng Xu, Vladislav Golyanik, Marc Habermann, Lu Fang, and Christian Theobalt. Eventcap: Monocular 3d capture of high-speed human motions using an event camera. In Computer Vision and Pattern Recognition (CVPR), 2020. 1, 2
[^63]: Yuxuan Xue, Haolong Li, Stefan Leutenegger, and Joerg Stueckler. Event-based non-rigid reconstruction from contours. In The British Machine Vision Conference (BMVC), 2022. 1, 2
[^64]: Shanxin Yuan, Qi Ye, Bjorn Stenger, Siddhant Jain, and Tae-Kyun Kim. Bighand2.2m benchmark: Hand pose dataset and state of the art analysis. In Computer Vision and Pattern Recognition (CVPR), pages 4866–4874, 2017. 2
[^65]: Shanxin Yuan, Guillermo Garcia-Hernando, Björn Stenger, Gyeongsik Moon, Ju Yong Chang, Kyoung Mu Lee, Pavlo Molchanov, Jan Kautz, Sina Honari, Liuhao Ge, Junsong
袁、陈星豪、王贵金、杨帆、秋山开、吴洋、万庆福、Meysam Madadi、Sergio Escalera、李世乐、李东辉、Iason Oikonomidis、Antonis Argyros和Tae-Kyun Kim。基于深度的3D手部姿态估计：从现有成果到未来目标。载于计算机视觉与模式识别会议（CVPR），2018年。2
[^66]: Baowen Zhang, Yangang Wang, Xiaoming Deng, Yinda Zhang, Ping Tan, Cuixia Ma, and Hongan Wang. Interacting two-hand 3d pose and shape reconstruction from single color image. In International Conference on Computer Vision (ICCV), pages 11354–11363, 2021. 2, 13
[^67]: Xiong Zhang, Qiang Li, Hong Mo, Wenbo Zhang, and Wen Zheng. End-to-end hand mesh recovery from a monocular rgb image. In International Conference on Computer Vision (ICCV), 2019. 2
[^68]: Yuxiao Zhou, Marc Habermann, Weipeng Xu, Ikhsanul Habibie, Christian Theobalt, and Feng Xu. Monocular real-time hand shape and motion capture using multi-modal data. In Computer Vision and Pattern Recognition (CVPR), 2020.
[^69]: Christian Zimmermann and Thomas Brox. Learning to estimate 3d hand pose from single rgb images. In International Conference on Computer Vision (ICCV), pages 4903–4911, 2017. 2
##### [^70]: Christian Zimmermann, Duygu Ceylan, Jimei Yang, Bryan Russell, Max Argus, and Thomas Brox. Freihand: Dataset for markerless capture of hand pose and shape from single rgb images. In International Conference on Computer Vision (ICCV), 2019. 2
---
#### 基于单目事件相机的两只交互手部3D姿态估计
补充材料
本补充材料在第A节中提供了关于我们数据集的额外细节，在第B节中介绍了实验设置。第C节展示了额外的实验结果。我们使用罗马数字来引用图表。
#### A. 数据集详情
##### A.1. Ev2Hands-S数据集
该数据源自InterHand2.6M数据集。我们利用InterHand2.6M数据集提供的双手真实MANO参数，来获取逼真的手部运动数据 [^29] [^30]。我们使用该数据集提供的MANO标注信息，这些标注原本以每秒5帧（FPS）的频率提供，我们对其中的每条序列进行插值处理，使其达到30 FPS。插值后的手部模型会被渲染并与背景场景合成，从而生成合成的RGB图像。这些RGB序列随后被输入到事件流模拟器VID2E中 [^13]，进而生成对应的事件流。我们遵循Moon等人[^29]所采用的训练集和测试集划分方式。
材质与光照。为了生成能够输入到事件流模拟器中的逼真图像，我们需要在模拟过程中对材质属性和光照条件进行建模。为了使手部边缘的过渡更加自然，同时让手部内部的颜色变化更贴近现实，我们对手部模型应用了金属-粗糙度材质模型 [^26] [^37]。
场景采用环境光照明，同时设置五个点光源，每个序列中的光源位置和强度都会随机扰动。我们还为每条序列渲染了九种不同的背景。
手部表面建模。此外，在渲染之前，我们会给MANO顶点（即手部表面）添加标准差为3毫米的高斯噪声，这样能生成更逼真的事件流，也有助于模型更好地泛化到真实数据上。
数据增强。我们通过给现有事件添加随机的位置和时间偏移以及极性交换来为事件流增加噪声。这种增强后的事件模拟了噪声（即虚假事件）以及可能因光照变化而产生的事件模式。
##### A.2. Ev2Hands-R数据集
数据集构成。该数据集包含由五名受试者录制的八条序列。这些受试者的身体特征各异，包括体型大小和肤色方面的差异。录制序列的总时长为19.4分钟。我们用其中两名受试者的数据来微调我们的方法，另外三名受试者的数据则用于评估。
Figure I. Recording setup for our Ev2Hands-R dataset with an event camera (DAVIS 346C) and an RGB camera (Sony RX0), which are synchronised and calibrated with respect to the multi-view markerless motion capture system Captury [^55].
事件+RGB相机设置。我们用于采集真实数据的设备包括一台事件相机（DAVIS 346C）和一台高速RGB相机（Sony RX0）；详见图I。所有相机均已同步并校准，RGB视频流仅用于将我们的方法与现有的基于RGB的方法进行比较，以及作为参考。
同步是通过在录制开始和结束时拍手来实现的。我们将事件流转换为时间窗口为20毫秒的事件帧，这一时间与RGB帧的帧时间相匹配。随后，我们手动将事件帧的时间戳与包含拍手序列的RGB帧的时间戳对齐。
参考3D手部姿态。Ev2Hands-R的3D参考手部姿态是通过三步流程获得的。首先，我们对相机系统进行校准，以获取事件相机和RGB相机的内部参数与外部参数。利用棋盘格，我们相对于无标记动作捕捉系统[^55]来确定外部参数。其次，我们要求目标受试者在我们的Event+RGB相机系统前执行手部动作序列。动作捕捉系统会生成受试者在全局空间中的全身3D人体姿态，包括身体和双手。最后，将3D手部标记投影到事件相机和RGB相机的视图中。表I列出了其中一名受试者所执行的动作列表。每个人执行动作的方式会受到其个人风格的影响，从而导致每个序列中存在细微差异。这些细微差别
---
Figure II. The predictions of RGB2Hands [^59]. Due to the differences between the training regime and assumptions of RGB2Hands and our setup, the obtained predictions are poor.
为数据集的多样性做出了贡献。
#### B. 实验设置
与EventHands的比较。我们通过分别对手部事件进行推理，在Ev2Hands-R上重新训练并评估EventHands [^46]。由于真实事件流中没有可用的真实事件标签，因此左右手事件标签是通过使用Ev2Hands预测的分割标签来获得的。
与其他基于RGB的方法的比较。除了主论文中评估的方法——即Moon [^27]、Li等人[^22]以及Boukhayma等人[^4]外，我们还测试了其他基于RGB的、用于从单目视频中估计双手3D手部姿态的方法[^59] [^66]。然而，由于这些方法与我们实验设置之间的训练机制存在差异，得到的预测结果较差。因此，我们不报告定量指标；有关其中一种基于RGB的方法的定性结果，请参见图II。
消融研究。为了探究我们方法关键组件的贡献，我们在Ev2Hands-R和Ev2Hands-S数据集上进行了消融研究。PCK曲线和AUC如图III所示。我们的方法与Rudnev等人[^46]、Li等人[^22]以及Boukhayma等人[^4]相比的PCK曲线和AUC如图IV所示。在使用Ev2Hands-S评估性能时，以原始事件作为输入的表现优于LNES [^46]方法，其AUC值达到了0.62。不过，与事件云相比，原始事件的表现较差。引入特征级注意力机制后，AUC值提升至0.69。再加上分割监督机制，最终得到最高的AUC分数0.75。引入Intersection Aware Loss（IAL）后，AUC分数略微降至0.72。重要的是，碰撞率也随之降低到6.69%，这提升了手部高度交互场景下有效手部姿态的合理性。在Ev2Hands-R上评估我们方法的性能时，也观察到了同样的趋势。此外，用Ev2Hands-R对方法进行微调（Fine Tuning, FT）后，R-PCK AUC分数从0.41提升至0.64。这一趋势在RR-PCK数值中也有体现。
时间稳定性。为了降低我们方法产生的高速运动带来的抖动，我们在附带的补充视频中使用了1€滤波器[^5]来进行可视化处理。为了公平比较，我们对所有评估的方法也采用了相同的处理方式。需要注意的是，如视频（5:23）所示，对运动进行时间滤波会导致在1000 FPS下观察预测结果时出现轻微延迟。
#### C. 其他结果
##### C.1. 与RGB相机方法的对比
为了验证我们的方法在低光照和高速运动序列中的鲁棒性，我们将其与基于RGB的方法进行对比，以在Sony RX0拍摄的高速运动序列中对交互手部进行3D重建[^22] [^27]。我们考虑了两种场景：帧率为25 FPS以及高快门速度（本实验中为500 FPS）。这两个序列是在不同设置下采集的：受试者的背景活动、受试者与相机之间的距离均与Ev2Hands-R中的情况不同；事件相机的校准，即p-n偏置$^{3}$设置和背景噪声滤波设置也与Ev2Hands-R存在差异。这表明我们的方法能够适应不同的录制设置。与基于RGB的手部姿态估计方法不同，后者在光线不足的图像中大多会失效（由于快门速度过快或手部快速运动导致的运动模糊），而我们的方法能够推断出更精确的手部关节位置和手间距离；详见表II。
##### C.2. 其他可视化结果
我们提供了该方法在光线充足场景下的额外可视化结果，以及低光照和高速运动情况下的结果；详见表III。实验表明，所预测的分割结果能够帮助网络即使在极具挑战性的条件下也能区分左右手。因此，我们的Ev2Hands方法在多种场景下对手部遮挡都具有较强的鲁棒性，也适用于高速双手交互场景。更多定性结果请观看我们的视频（1:23）。
分割监督。接下来我们比较了采用预训练分割分支与未采用预训练分割分支时我们方法的性能。两项实验均使用真实数据进行了微调。在补充视频（6:03）中我们可以观察到，分割监督使我们的方法能够应对因手部剧烈交互而产生的歧义问题。
---
| Action | RGB | Events |
| Palm Wave | |  |
| Dorsal Wave | |
| Wrist Rotation | |
| Articulation | |
| Clap | |
| Intersection | |
| Occlusion | |
| Free Style | |
Table I. The Ev2Hands-R dataset consists of eight different actions performed by each of the five different actors captured with synchronised RGB and event cameras.
---
Figure III. PCK curves for the ablation experiments on the synthetic Ev2Hands-S and real Ev2Hands-R datasets. The curve is plotted for relative PCK (R-PCK) and relative root PCK (RR-PCK).
Figure IV. PCK curves for Moon [^27], Li et al. [^22], Boukhayma et al. [^4], Rudnev et al. [^46] and Ev2Hands (Ours) on real Ev2Hands-R dataset. The curve is plotted for relative PCK (R-PCK) and relative root PCK (RR-PCK).
---
| RGB | Events | Li et al. | Moon | Ev2Hands (Ours) |
|  |  |  |  |  |
|  |  |  |  |  |
|  |  |  |  |  |
|  |  |  |  |  |
|  |  |  |  |  |
| |  | |  |
Table II. Comparisons between our method and Li et al. and Moon [^22] [^27]. The first two rows show the results obtained from the high shutter speed (500 FPS) sequence while the last three rows show the results obtained from the fast motion sequence recorded at 25 FPS. We observe that the predictions from Ev2Hands are better with more precise articulations and inter-hand distances. Note: The 3D visualizations of our method are overlaid onto the event stream.
---
| RGB | Events | Event Cloud | Segmentation | Predictions |
|  |  |  |  |  |
|  |  |  |  |  |
|  |  |  |  |
|  |  |  |  |  |
|  |  |  |  |  |
|  |  |  |  |  |
|  |  |  |  |  |
Table III. Additional visualisations of Ev2Hands along with the visualisations of event clouds, segmentations and the 3D predictions.