# EvHand-FPV：基于事件感知的第一人称视角高效3D手部追踪 *徐臻、卢国瑞、高畅、陈钦宇 摘要— 手部追踪为直观的交互范式带来了广阔前景，但基于帧的方法往往难以满足准确性、低延迟和能效的要求，尤其是在扩展现实（XR）设备等资源受限的场景中。事件相机通过异步感知亮度变化，以mW级功耗提供$\mu$s级时间分辨率。在本文中，我们提出EvHand-FPV，这是一个用于从单个事件相机进行以自我为中心（第一人称视角）3D手部追踪的轻量级框架。为应对以自我为中心的基准数据稀缺的问题，我们构建了一个基于事件的FPV数据集，将带3D标注的合成训练数据与带2D标注的真实事件数据配对，分别用于训练与评估。EvHand-FPV还引入了基于手腕的感兴趣区域（ROI），通过几何线索定位手部区域，并结合一种端到端映射策略，将ROI偏移嵌入网络中，从而在不进行显式重建的情况下减少计算量；同时还采用了多任务学习策略，利用辅助几何特征头在不增加测试时开销的情况下改进特征表示。在我们的真实FPV测试集上，EvHand-FPV将2D-AUCp从0.77提升至0.85，同时将参数量从11.2M减少至1.2M（降低89%），并将每次推理的FLOPs从1.648G减少至0.185G（降低89%）。此外，它在合成数据上保持了具有竞争力的3D-AUCp 0.84。这些结果证明了准确、高效的以自我为中心的事件驱动手部追踪，适用于设备端XR应用。数据集和代码发布于。 ## I. 引言 手部追踪已成为自然人机交互的核心技术，彻底改变了用户与数字环境的交互方式。在扩展现实（XR）应用中，精准的手部追踪消除了对物理控制器的需求，使用户能够通过自然手势直观地操控虚拟物体。这一功能已经集成到Meta Quest [^1]等商用AR/VR设备中，还被拓展至机器人远程操控[^2]、手语识别[^3]以及医疗康复[^4]等领域。这些应用场景不仅要求能够高精度估计具有多个自由度的手部姿态，还要求实现实时追踪，且对延迟的要求极高，尤其在手部快速运动场景下，低延迟和高时间保真度更是至关重要。 目前的手部追踪解决方案主要依赖传统的基于帧的摄像头[^5] [^6] [^7] [^8]，这类摄像头无论场景动态如何，都会以固定帧率拍摄完整图像。这种方法在资源受限的设备上存在局限性。典型的2D RGB传感器在25–30 FPS下功耗约为200毫瓦，而3D深度系统在相近帧率下的功耗则达到3–5瓦[^9]。若试图通过降低帧率来减少功耗[^10]，会严重损害追踪响应能力，导致运动模糊，且在手部快速运动时还会丢失时间信息——而恰恰是在这种时候，精准的追踪最为关键。 事件相机通过以$\mu$秒级的时间分辨率和毫瓦级的功耗异步捕捉亮度变化，从而克服了这些限制。与传统相机不同，这类受生物启发的传感器仅异步采集像素级的亮度变化信息，不仅能达到微秒级的时间分辨率，其功耗更是低至10毫瓦[^11] [^12] [^13] [^14]。这种稀疏的、基于事件驱动的传感机制消除了运动模糊现象，能够为快速运动的追踪提供极高的时间精度。近期基于事件的手部追踪系统已展现出令人鼓舞的成果[^15] [^16] [^17] [^18]，这验证了该技术的巨大潜力。 然而，现有的基于事件的方法并未充分利用事件相机的效率优势：它们采用的深度学习模型参数数量超过1000万，带来了巨大的计算负担。这种不匹配性阻碍了其在AR/VR头显及眼镜设备上的部署，因为这些设备的计算和功耗预算极为有限。此外，现有方法仅聚焦于第三人称视角，忽视了第一人称（以自我为中心的）手部追踪在虚拟键盘输入、AR界面操控以及机器人远程操作等交互应用中的关键作用[^19] [^20] [^21]。 为应对这些挑战，我们提出了EvHand-FPV：一种高效的基于事件的3D $\underline{\text{Hand}}$追踪框架，可从$\underline{\text{First-Person View}}$获取数据。我们的方法重新构思了面向实际部署的基于事件的手部追踪技术，在实现更高精度的同时，将模型参数和计算负载较现有最先进方法减少了89%。我们证明：通过数据表示、网络架构和训练策略的精心协同设计，完全能够实现高效且精准的以自我为中心的手部追踪。 本研究的主要贡献如下： - 我们提出了一种轻量且精准的、基于事件的从第一人称视角进行3D手部追踪的框架。 - 我们构建了一个基于事件的第一人称视角手部追踪数据集，其中包含用于训练的带3D标签的合成数据，以及首次用于测试的带2D标签的真实事件数据，从而填补了以自我为中心视角下的关键数据缺口[^22]。 - 我们提出了一种基于手腕的ROI方法，并采用端到端的映射策略，将ROI偏移量嵌入网络中， --- 从而减小输入尺寸并实现高效对齐，无需进行显式的重建操作。 - 我们设计了多任务学习策略，引入辅助的几何特征预测任务，引导网络学习更具区分性的表征，在提升精度的同时不会增加推理阶段的开销。 ### II. 相关工作 ### A. 3D手部重建 基于视觉数据的3D手部重建已被广泛研究，相关方法大致可分为两类。第一类采用端到端深度学习，直接将图像空间映射到手部姿态空间 [^5] [^6] [^7]，[^23]。这些方法利用深度神经网络的强大能力实现高效推理，展现出了良好的性能。然而，它们往往缺乏几何约束，且需要大规模标注数据集进行训练，从而限制了其泛化能力。第二类则将预定义的参数化手部模型作为先验知识，以确保重建结果符合生理规律。例如MANO [^24]和SMPL [^25]等模型提供了强大的结构约束，能够提升重建手部的真实感，尤其是在训练数据有限或存在遮挡的场景中。 目前的方法主要依赖传统的成像方式，包括RGB相机 [^5] [^6] [^7]，[^23]，[^26] [^27] [^28] [^29] [^30] [^31]以及深度传感器 [^32] [^33] [^34] [^35] [^36] [^37]。虽然这些技术得益于成熟的硬件和丰富的数据集，但它们存在根本性局限：时间分辨率较低（通常为30-60 FPS），无法捕捉快速的手部运动；快速运动时会产生明显的运动模糊；功耗较高，且会随着帧率升高而大幅增加，因此不适合资源受限的边缘设备和高速跟踪应用。我们的任务聚焦于手部跟踪，即实时连续估计手部姿态。由于我们采用MANO模型来表示手部，因此我们的方法也与3D手部重建方法相关联。 ### B. 基于事件的手部跟踪 事件相机代表了视觉传感领域的一次范式转变，它异步捕获像素级的亮度变化，而非完整帧 [^14]。这种仿生方法具备微秒级的时间分辨率、固有的运动模糊抑制能力、超过140 dB的动态范围以及超低功耗（毫瓦级），因此特别适用于高速运动捕捉和边缘计算应用。 1) 第三人称视角方法：近期的研究已成功将事件相机应用于受控的第三人称视角场景下的3D手部跟踪。EventHands [^16]开创了纯事件驱动的手部跟踪方法，它通过局部归一化事件表面（LNES）表示，直接从事件流中回归MANO参数。该方法能达到1 kHz的实时性能，尽管仅在合成数据上训练，却展现出出色的从合成数据到真实数据的泛化能力。不过，该方法需要超过1100万个参数，且只能重建单只手部。 EvHandPose [^18]通过引入手部流表示和弱监督框架，并配套一个大规模真实世界事件数据集，解决了域差异问题。虽然这降低了对合成数据的依赖，但计算需求依然很大。Ev2Hands [^15]则利用点云表示扩展了双手重建的能力，但同样需要大量的计算资源，其模型参数超过1000万个。 薛等人提出了一种基于几何的替代方案[^15]，该方案提供了一种优化框架，无需大规模标注且具备很强的可解释性。不过，其迭代优化过程限制了实时性能，从而制约了其在在线跟踪场景中的应用。 2) 第一人称视角方法：尽管取得了这些进展，现有的基于事件的方法仍局限于静态的第三人称摄像头设置，对第一人称视角的研究则被忽视了。一方面，当前的数据集缺乏足够的以自我为中心的数据；另一方面，这类视角通常出现在VR头盔等资源受限平台上，此时模型大小和计算成本是关键考量因素。然而，以往基于事件相机的手部跟踪研究大多忽略了这些问题。 EventEgoHands [^22]近期率先实现了以自我为中心的事件驱动型3D手部网格重建，其推出的手部分割模块利用U-Net从LNES表示中提取手部区域，从而过滤掉由摄像头运动引起的背景事件。他们还创建了N-HOT3D——一个包含44.7万个样本的大规模合成数据集，专门用于以自我为中心的视角，该数据集是利用v2e模拟器[^38]基于HOT3D数据集生成的。虽然EventEgoHands成功证明了以自我为中心的事件驱动型手部跟踪的可行性，但它仍保留了现有方法所特有的计算复杂性。我们的EvHand-FPV框架借鉴了针对第一人称视角挑战的研究成果，专门面向资源受限的部署场景以提升效率，引入了轻量级替代方案，在保持精度的同时大幅降低了计算需求。 ### 三、方法 ### A. 数据集 1) 合成数据：我们使用基于MANO手部模型[^16]的evsim [^24]来生成3D右手序列。模拟器会从每个设定的视角输出同步的RGB帧、事件流、3D关节坐标以及经过12维主成分分析（PCA）转换后的标签，所有数据均带有$\mu$精度的时间戳。为了增加数据的多样性，我们改变了摄像头视角，并应用了随机手势变换、平移和旋转。总共我们生成了72万毫秒的合成训练数据以及6万毫秒的测试数据。 --- ![Image](images/ec5f7c9f8da8e552c194d5f396974f653b559eda6480887b98d2681ced5199b8.jpg)
Fig. 1. Overview of EvHand-FPV: (a) Dataset: synthetic data generated from the MANO hand model using evsim and real-world data collected with an event camera. (b) Pre-processing: event streams are processed by channel compression, LNES-Fast event representation, and noise filtering. A wrist-based ROI method is then applied to localize the hand region and crop the input. (c) Lightweight multi-task network architecture: the cropped ROI and its offset are fed into a MobileViT V2 backbone. The network follows a multi-task design with a main prediction head (hand pose) and an auxiliary head (geometric statistics of event distribution). (d) Output: the 12-dimensional predictions include MANO PCA components, translation, and rotation, which are reconstructed into 3D hand joints and rendered meshes for visualization.
如图1(a)左侧列所示，该数据集包含带时间戳的RGB帧、事件流、关节坐标以及对应的PCA标签。 2) 真实世界数据：我们使用DAVIS346事件相机采集最多60秒的真实数据，该相机与30 FPS的RGB摄像头同步。我们的真实数据时长可达6万毫秒，足以用于测试其在真实世界中的性能稳定性。为确保方法的普适性，数据来源于手型与大小各异的受试者，记录的手部运动涵盖了目标场景中的常见运动模式，如平面平移、深度移动、手腕旋转以及手势变化。我们使用MediaPipe [^39]对RGB帧中的手部关节2D坐标进行初步标注，并手动校准标签。图1(a)右侧列展示了真实世界的手部数据，包括RGB数据、事件数据以及标注好的手部关节坐标。 ### B. 事件表示 事件相机生成的数据格式为$e(t,x,y,p)$，其中t表示时间戳，x和y代表空间坐标，p则表示事件极性。当p=0时，表示像素在该时刻变暗，即发生负事件；当p=1时，表示像素变亮，即发生正事件。我们按照算法1中的三个主要步骤来处理事件：通道压缩、事件累积以及噪声过滤。 1) 通道压缩：在采用多通道表示方式时[^16]，为了提升模型的泛化能力，必须进行极性增强处理，因为事件极性会受到亮度的影响[^14]，也就是说，相同的运动情况下由于背景变化可能会导致不同的事件极性。在本项目中，为了简化复杂度，我们将极性通道压缩为单个通道，只要像素处出现任意一种极性的事件即可标记为有效事件。如果同一像素在指定时间区间内同时出现两种极性的事件，其强度也不会翻倍。实验表明这种简化并不会影响模型性能。 2) 事件累积：为了将事件数据适配为神经网络的输入，需要将事件划分到不同的时间区间并累积成相应的表示形式。在我们的EvHand-FPV框架中，采用了固定时间区间的划分方法以保证最低频率要求。目前已有多种将事件累积为表示形式的方法，例如EventHands中使用的LNES[^16]。LNES会将固定100毫秒时间窗口内的事件（其中99毫秒存在重叠）聚合为一个经过归一化处理的双通道图像，每个通道对应一种极性，从而可实现1 kHz的高时间分辨率。然而，固定的时间窗口大小可能会导致信息冗余或过于稀疏的问题。在手快速移动时，短时间内会产生大量事件，足以形成丰富的图像；此时继续加入更早的事件只会使图像变得模糊。相反，当手移动缓慢且产生的事件较少时，缩短时间窗口又可能导致表示结果过于稀疏。 为解决这一问题，我们引入了LNES-Fast算法，它在保持原有时间窗口长度约束的同时，为所纳入的事件数量设置了上限。在进行事件堆叠时，无需遍历整个时间窗口，只需监测已流逝的时间和累计事件数，一旦事件数超过预设阈值便提前终止处理。这一策略既避免了快速运动时的图像过度模糊现象，又能确保足够的时间跨度用于 --- ```pseudo // Algorithm 1: LNES-Fast with Channel Compression ``` 以及噪声过滤 输入：$E = \{e_i \mid i = 1 \cdots n\}$：事件区间； $t_0$：当前时间戳； L：窗口大小； $\theta$：计数上限； k、$\sigma$：高斯模糊核及方差。 输出：去噪后的单通道表示$\text{img}$ 1: 通道压缩：将同一像素处的正负事件合并为单个事件 2: 初始化events_cnt $\leftarrow$ 0 3: 初始化$\text{img} \leftarrow \emptyset$ 4: 对于E中的$e_i$执行以下操作： 5: 如果events_cnt $\geq \theta$，则 6: 终止循环 7: # $\uparrow$ LNES-Fast提前停止机制 8: 结束判断 9: 对于每个$e_i \in E$执行： 10: $\text{img}[y, x] \leftarrow \max(\text{img}[y, x], \frac{L - (t_0 - t_i)}{L})$ 11: # $\uparrow$ 窗口归一化权重计算 12: events_cnt $\leftarrow$ events_cnt + 1 13: 结束循环 14: 结束for循环 15: $\text{img} \leftarrow \text{GaussianBlur}(\text{img}, \text{kernel} = k, \sigma)$ 16: # $\uparrow$ 噪声过滤步骤 17: 返回$\text{img}$ 慢速运动场景下防止表示结果过于稀疏。因此，LNES-Fast能够在不牺牲表示质量的前提下减少冗余现象和计算开销。 3) 噪声过滤：为了减轻事件堆叠过程中产生的噪声，我们利用了一个观察结果——虚假事件通常表现为孤立的异常值；因此，我们采用高斯模糊来抑制这些孤立的虚假事件，同时平滑表征。该方法仅作用于当前帧，无需调用前后帧的信息进行过滤，从而降低了时间维度上的计算复杂度。 ### C. 基于手腕的感兴趣区域与轻量级端到端映射 事件数据本身包含空间坐标信息，可用来高效估算目标的大致位置。这使我们能够利用感兴趣区域（ROI）来减少计算量，只需处理裁剪后的区域即可。常见的策略是预先定义多个候选区域，并在输入时选择事件密度最高的那个区域 [^40]。 1) 手腕定位：我们的方法源于解剖学上的观察：手腕是手臂与手掌之间最窄的连接处。如图2所示，我们通过确定手腕的垂直坐标Y以及左右边界 $X_{L}$ 和 $X_{R}$ 来定位手腕。这些变量Y、$X_{L}$ 和 $X_{R}$ 的初始值分别为 $Y = H - 1$、$X_{L} = 0$ 和 $X_{R} = W - 1$，其中H和W表示事件帧的高度和宽度。随着Y值的减小，宽度 $X_{R} - X_{L}$ 的缩小意味着正在向手腕靠拢。一旦宽度开始再次增大，即 $X_{L}$ 减小而 $X_{R}$ 增大，就说明我们已经偏离手腕，此时搜索过程终止。为确保对噪声的鲁棒性，在确定每行中最左侧和最右侧的事件坐标时会应用阈值，从而避免由孤立事件引发的错误检测。 2) ROI构建：定位手腕后，我们以手腕中点为中心构建ROI框 $(X_c, X_c)$，其中 $X_c = (X_L + X_R)/2$ 和 $Y_c = Y$。给定预定义的ROI尺寸 $h \times w$，垂直范围被设定为 $[Y_c - (h - 10), Y_c + 10]$，即在手腕下方预留10个像素，剩余像素向上分配。水平范围则定义为 $[Y_c - w/2, Y_c + w/2]$。 ![Image](images/86e41488c502ab6e67e7afad75955f45c8384e5e26c55d079d2eb0c5ad618d68.jpg)
Fig. 2. Wrist-based ROI: flowchart and illustrations.
3) 轻量级端到端映射：虽然ROI能降低计算复杂度，但将其与基于PCA的输出结合时存在挑战：将ROI预测显式重构回原始坐标空间的成本较高。为解决这一问题，我们提出了一种轻量级端到端映射策略。ROI偏移量（即ROI框左上角的坐标）会与展平后的特征拼接，再传入全连接层，从而使模型能够隐式学习这种变换关系。该设计避免了显式重构过程，为ROI到原始空间的对齐提供了一种新颖且高效的解决方案。 --- ### D. 轻量级多任务学习网络架构 整个网络的架构如图1(c)所示。选定的ROI作为第一层输入被送入网络，而原始图像中的ROI偏移量则被送入主任务的最后一个全连接层，以便在原始空间系统中恢复预测结果。ROI特征图首先经过一个基本的特征提取层，该层包含两层二维卷积层和来自MobileViT V2的两个倒残差层 [^41]。随后，它分为两个并行分支：一个辅助（AUX）任务分支，由一个倒残差层、全局平均池化和一个线性层组成；另一个主任务分支，由MobileViT V2块、全局平均池化和两个线性层构成。 1) 轻量级骨干网络选择：以往的研究采用参数数量较大的模型作为骨干网络，例如ResNet-18，其参数数量超过1100万 [^42] [^16] [^18]。然而，我们的目标是设计轻量级系统，这些模型并不符合要求。因此，我们仅将ResNet-18保留为基准模型，重点研究专为资源受限设备设计的轻量级模型，包括ShuffleNet V2 [^43]、MobileNet V3 [^44]以及MobileViT V2 [^41]。最终，我们选择MobileViT V2作为模型的骨干网络，因为它在参数规模相近的情况下能够实现最快的收敛速度和最佳性能，同时避免了其他ViT模型通常带来的过高计算开销。 为了进一步降低计算复杂度并使模型更易于部署到硬件上，我们对模型内的两个组件进行了简化。首先，我们将SiLU激活函数替换为对硬件更友好的简化版ReLU。其次，我们用泰勒级数展开近似形式替换了线性自注意力模块中的Softmax函数。实验验证表明，这两种优化措施并不会导致精度下降。 骨干网络的输出为12维，由三部分组成：前6维代表MANO模型的PCA分量，第7至9维对应手部的三维平移信息，最后3维用于编码手部旋转信息。 2) 多任务学习：为提高精度，我们设计了多任务学习架构。我们发现手部质心、标准差以及ROI的协方差矩阵等参数与手部的三维空间位置密切相关。基于这一观察，我们在骨干网络的中间层引入了一个额外的输出头，以这些参数作为标签。这一辅助任务能够促使模型的低层和中层学习到更有意义的特征，从而有助于提升性能。此外，由于推理阶段可以移除辅助分支，因此在部署时不会带来额外的计算开销。 辅助任务的标签和输出共有七维，包括以下信息的归一化值：事件坐标在x轴和y轴上的均值与标准差、协方差矩阵的两个特征值，以及对应于最大特征值的特征向量的方向角。 ### E. 损失函数 总损失由主任务和辅助任务的损失组成。总损失函数如下所示： $$ Loss_{Total}=Loss_{Main}+w_{Aux}\times Loss_{Aux} $$ 其中，辅助任务损失的权重$w_{Aux}$被设为0.5，以防止该辅助任务干扰主任务的优化方向。 1) 主任务损失：我们针对主任务中的三个组成部分——MANO、平移和旋转，分别计算独立的损失项，在汇总为整体主任务损失时赋予它们不同的权重。确定这些权重时，我们既考虑了保持三个损失项的数值量级相近，也兼顾了它们对整体性能的不同贡献。根据实验结果，我们采用以下加权方案： $$ \begin{aligned}Loss_{Main}&=(6\times w_{MANO}\times l_{MANO}\\&\quad+3\times w_{Trans}\times l_{Trans}\\&\quad+3\times w_{Rot}\times l_{Rot})/12\end{aligned} $$ 其中$w_{MANO} = 10$、$w_{Trans} = 10000$、$w_{Rot} = 20$。 2) 辅助任务损失：对于辅助任务，我们计算所有七个组成部分的总均方误差，以及事件坐标在x轴和y轴上的均值与标准差、两个特征值，还有事件分布特征椭圆的取向角，并未给每个组成部分分配不同权重。 ### 四、实验 我们在真实的基于事件的手部数据上评估我们的EvHand-FPV方法，包括与现有最先进方法的对比以及消融实验，以评估各个组成部分的贡献。我们使用PyTorch Lightning [^45]在单张NVIDIA RTX 3090 GPU上训练模型。我们将批量大小设为32，训练轮数设为20。优化器采用Adam，学习率为$1 \times 10^{-4}$。 ### A. 评估指标 1) 二维指标：PCK指标指的是关键点位置正确的比例（以手部根部为对齐基准），通常在手部追踪研究中被采用[^28]。为了考虑尺度差异，我们采用手掌归一化的二维PCK（2D-PCKp）及其对应的曲线下面积（2D-AUCp）[^16]。神经网络模型的预测结果会被输入到evsim中，基于MANO模型计算三维手部关节位置[^24]，随后将其投影到二维图像平面上，从而计算出2D-PCKp和2D-AUCp。 2) 三维指标：通过evsim软件从预测输出转换得到的三维坐标，可直接与三维真实标签进行对比，从而计算出3D-PCK和3D-AUC。不过，由于获取真实数据的三维标注本身存在困难，我们对这一指标的评估仅限于合成数据。 --- ![Image](images/e279823cf798af8062bebc1ccdcb33bd9870e1f3f39cbc82c133ab369ed6f9a3.jpg)
Fig. 3. Qualitative Evaluation. We compared our method with EventHands [^16] on our real FPV test set. The predicted hand poses are shown as rendered meshes, and the ground truth annotations are drawn as blue lines and joints. Red arrows indicate the obvious failure parts. RGB images were not used as input, but only as a reference here.
TABLE I
COMPARISON WITH EVENTHANDS [^16]
MethodDataset2D-AUCp\n(Real Data) $\uparrow$3D-AUCp\n(Synthetic Data) $\uparrow$Params $\downarrow$FLOPs $\downarrow$
EventHandsEventHands0.770.8511.2 M1.648 G
EventHands (w/o retrain)EvHand-FPV0.110.1711.2 M1.648 G
EventHands (retrained)EvHand-FPV0.770.8211.2 M1.648 G
EvHand-FPV (Ours)EvHand-FPV0.850.841.2 M0.185 G
### B. 与现有方法的对比 图3和表I展示了我们的方法与EventHands [^16]的对比情况，EventHands是第三人称视角下基于事件的手部追踪领域的最先进方法。在原始的第三人称设置下，EventHands在真实数据上的2D-AUCp达到0.77，在合成数据上的3D-AUC达到0.85。然而，当将其应用于我们的第一人称视角（以自我为中心的）任务时，其性能大幅下降，在真实数据上的2D-AUCp仅降至0.12，在合成数据上的3D-AUC降至0.17，这体现了不同视角间的显著域差异，也凸显了EvHand-FPV的必要性。为了公平起见，我们也在自己的数据集上重新训练EventHands所使用的ResNet-18骨干网络，其在真实数据上的2D-AUCp达到0.77，在合成数据上的3D-AUC达到0.82，这证实了我们的数据集难度与现有研究相当。 我们的EvHand-FPV取得了更优的性能：在真实数据上的2D-AUCp达到0.85，在合成数据上的3D-AUC达到0.84；同时模型参数量从1120万大幅缩减至120万，计算成本从1.648 G FLOPs降至0.185 G FLOPs，两项指标均减少了89%。在轻量化约束下，它是基于事件的第一人称手部追踪领域的最先进方法。 ### C. 消融实验 1) 骨干网络：我们首先评估不同的轻量级骨干网络，以确定最适合我们框架的架构。具体来说，我们比较了ShuffleNet V2 [^43]、MobileNet V3 [^44]和MobileViT V2 [^41]，并以EventHands中使用的ResNet-18作为基线。它们的性能、参数数量和计算负载详见表II。这些结果是基于无辅助任务分支的原始图像输入得到的。ShuffleNet V2和MobileNet V3虽然体积非常小，但准确率有限（分别为0.78和0.76 2D-AUCp）。在相同参数预算下，MobileViT V2取得了最佳准确率（0.80 2D-AUCp），这得益于其基于Transformer且采用线性注意力机制的设计。最终，我们选择MobileViT V2作为所提方法的骨干网络。为了公平比较，在这些实验中，我们将这些轻量级模型的参数数量裁剪至相同水平（0.1M）。不过后续实验将使用官方发布的MobileViT V2（1.2M）以获得更好的性能。 ---
TABLE II COMPARISON AMONG BACKBONES
Model2D-AUC $_{p}$ $\uparrow$Params $\downarrow$FLOPs $\downarrow$
ResNet-180.7711.2 M1.648 G
ShuffleNet V2 (Pruned)0.780.1 M0.025 G
MobileNet V3 (Pruned)0.760.1 M0.011 G
MobileViT V2 (Pruned)0.800.1 M0.023 G
![Image](images/30e5bd88e5f72554980c8f60216ef7fe97eb51cca6fef31934ea40837b8e4dbf.jpg)
Fig. 4. Impact of ROI size on accuracy (2D-AUCp) and computational cost (GFLOPs). Reducing the resolution substantially decreases FLOPs while maintaining competitive accuracy down to $160 \times 160$.
性能。 2) 架构修改：虽然MobileViT V2中的SiLU激活函数具有平滑性和非单调性等优势，但其在硬件（如FPGA或ASIC）上的实现存在显著挑战 [^46]、[^47]。考虑到这一点，同时鉴于事件图像本身比RGB图像更简单，我们将MobileViT V2中的所有激活函数替换为相对更简单的ReLU。实验表明这种替换不会造成性能损失。另一个计算量较大的组件是softmax函数。为了适配轻量级系统，我们用泰勒级数展开近似法替换原有的softmax函数。实验同样表明这种替换不会造成性能损失。这些修改共同使得MobileViT V2在不牺牲准确率的前提下更适用于轻量级部署。 3) ROI与多任务学习：图4展示了不同ROI尺寸下我们方法的性能与计算成本变化。当采用$160 \times 160$大小的ROI时，准确率仅下降0.01（从0.85降至0.84），而计算成本却降低了42.72%。因此，我们为该方法采用了这一尺寸。 我们在MobileViT-V2 0.5×骨干网络上开展对比实验，以考察ROI和辅助任务的影响。如表III所示，无论是否采用ROI，添加辅助任务都能提升性能；同时ROI能在略微降低准确率的前提下大幅减少计算成本。由于推理阶段会裁剪掉辅助分支，因此其参数和计算量不计入部署成本。ROI与辅助任务的结合对于实现高准确率至关重要。
TABLE III
ABLATION STUDY ON THE WRIST-BASED ROI AND MULTI-TASK LEARNING.
ROIMulti-Task2D-AUC $p \uparrow$FLOPs $\downarrow$
NoNo0.850.322 G
YesNo0.840.185 G
NoYes0.870.322 G
YesYes0.850.185 G
且计算成本低。 ### V. 结论 在这项工作中，我们提出了EvHand-FPV——一种基于事件相机、用于第一人称视角下3D手部跟踪的高效轻量级框架。通过引入基于手腕的ROI检测、LNES-Fast表示以及优化的基于MobileViT V2的多任务学习网络架构，我们的方法在真实FPV测试集上达到了0.85 2D-AUCp的准确率，同时参数数量和计算成本较EventHands减少了89%。这些结果证明，在严格的资源限制下实现精准、实时的自我中心式手部跟踪是可行的，这使得我们的框架非常适合应用于AR/VR头戴设备及其他可穿戴平台。 ## 参考文献 [^1]: Meta Platforms, Inc., “Meta quest 3,” , 2023, accessed: 2025-08-22. [^2]: R. Li, H. Wang, and Z. Liu, “Survey on mapping human hand motion to robotic hands for teleoperation,” IEEE Transactions on Circuits and Systems for Video Technology, vol. 32, no. 5, pp. 2647–2665, 2022. [^3]: N. C. Camgoz, O. Koller, S. Hadfield, and R. Bowden, “Sign language transformers: Joint end-to-end sign language recognition and translation,” in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), June 2020. [^4]: M. Bressler, J. Merk, T. Gohlke, F. Kayali, A. Daigeler, J. Kolbenschlag, and C. Prahm, "A virtual reality serious game for the rehabilitation of hand and finger function: Iterative development and suitability study," JMIR Serious Games, vol. 12, p. e54193, Aug 2024. [^5]: C. Zimmermann and T. Brox, “Learning to estimate 3d hand pose from single rgb images,” in Proceedings of the IEEE International Conference on Computer Vision (ICCV), 10 2017. [^6]: U. Iqbal, P. Molchanov, T. B. J. Gall, and J. Kautz, "Hand pose estimation via latent 2.5d heatmap regression," in Proceedings of the European Conference on Computer Vision (ECCV), 9 2018. [^7]: L. Ge, Z. Ren, Y. Li, Z. Xue, Y. Wang, J. Cai, and J. Yuan, "3d hand shape and pose estimation from a single rgb image," in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 6 2019. [^8]: J. Liebers, S. Brockel, U. Gruenefeld, and S. S. and, “Identifying users by their hand tracking data in augmented and virtual reality,” International Journal of Human-Computer Interaction, vol. 40, no. 2, pp. 409–424, 2024. [^9]: A. Colaco, A. Kirmani, N.-W. Gong, T. Mcgarry, L. Watkins, and V. K. Goyal, "3dim: Compact and low power time-of-flight sensor for 3d capture using parametric signal processing," in Proc. Int. Image Sensor Workshop. Citeseer, 2013, pp. 349–352. [^10]: D. Rotman, O. Cohen, and G. Gilboa, “Frame rate reduction of depth cameras by rgb-based depth prediction,” in 2016 IEEE International Conference on the Science of Electrical Engineering (ICSEE), 2016, pp. 1–5. ## [^11]: P. Lichtsteiner, C. Posch, and T. Delbruck, “A $128\times 128$ db 15 $\mu$s latency asynchronous temporal contrast vision sensor,” IEEE Journal of Solid-State Circuits, vol. 43, no. 2, pp. 566–576, 2008 --- [^12]: C. Posch, D. Matolin, and R. Wohlgenannt, “A qvga 143 db dynamic range frame-free PWM image sensor with lossless pixel-level video compression and time-domain cds,” IEEE Journal of Solid-State Circuits, vol. 46, no. 1, pp. 259–275, 2011. [^13]: B. Son, Y. Suh, S. Kim, H. Jung, J.-S. Kim, C. Shin, K. Park, K. Lee, J. Park, J. Woo, Y. Roh, H. Lee, Y. Wang, I. Ovsiannikov, and H. Ryu, "4.1 a 640×480 dynamic vision sensor with a 9μm pixel and 300meps address-event representation," in 2017 IEEE International Solid-State Circuits Conference (ISSCC), 2017, pp. 66–67. [^14]: G. Gallego, T. Delbrück, G. Orchard, C. Bartolozzi, B. Taba, A. Censi, S. Leutenegger, A. J. Davison, J. Conradt, K. Daniilidis, and D. Scaramuzza, “Event-based vision: A survey,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 44, no. 1, pp. 154–180, 2022. [^15]: Y. Xue, H. Li, S. Leutenegger, and J. Stückler, “Event-based non-rigid reconstruction from contours,” 2022. [Online]. Available: [^16]: V. Rudnev, V. Golyanik, J. Wang, H.-P. Seidel, F. Mueller, M. Elgharib, and C. Theobalt, “Eventhands: Real-time neural 3d hand pose estimation from an event stream,” in Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), 10 2021, pp. 12385–12395. [^17]: C. Millerdurai, D. Luvizon, V. Rudnev, A. Jonas, J. Wang, C. Theobalt, and V. Golyanik, "3d pose estimation of two interacting hands from a monocular event camera," in 2024 International Conference on 3D Vision (3DV), 2024, pp. 291–301. [^18]: J. Jiang, J. Li, B. Zhang, X. Deng, and B. Shi, “Evhandpose: Event-based 3d hand pose estimation with sparse supervision,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 46, no. 9, pp. 6416–6430, 2024. [^19]: J. Grubert, L. Witzani, E. Ofek, M. Pahud, M. Kranz, and P. O. Kristensson, “Effects of hand representations for typing in virtual reality,” in 2018 IEEE Conference on Virtual Reality and 3D User Interfaces (VR), 2018, pp. 151–158. [^20]: W. Lin, L. Du, C. Harris-Adamson, A. Barr, and D. Rempel, “Design of hand gestures for manipulating objects in virtual reality,” in Human-Computer Interaction. User Interface Design, Development and Multimodality, M. Kurosu, Ed. Cham: Springer International Publishing, 2017, pp. 584–592. [^21]: Y. Qin, W. Yang, B. Huang, K. V. Wyk, H. Su, X. Wang, Y.-W. Chao, and D. Fox, “Anyteleop: A general vision-based dexterous robot arm-hand teleoperation system,” 2024. [Online]. Available: [^22]: R. Hara, W. Ikeda, M. Hatano, and M. Isogawa, “Eventegohands: Event-based egocentric 3d hand mesh reconstruction,” in 2025 IEEE International Conference on Image Processing (ICIP), 2025, pp. 1199–1204. [^23]: X. Zhang, Q. Li, H. Mo, W. Zhang, and W. Zheng, “End-to-end hand mesh recovery from a monocular rgb image,” in Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), 10 2019. [^24]: J. Romero, D. Tzionas, and M. J. Black, “Embodied hands: modeling and capturing hands and bodies together,” ACM Transactions on Graphics, vol. 36, no. 6, p. 1–17, Nov. 2017. [Online]. Available: [^25]: M. Loper, N. Mahmood, J. Romero, G. Pons-Moll, and M. J. Black, “Smpl: a skinned multi-person linear model,” ACM Trans. Graph., vol. 34, no. 6, Oct. 2015. [Online]. Available: [^26]: Y. Cai, L. Ge, J. Cai, and J. Yuan, “Weakly-supervised 3d hand pose estimation from monocular rgb images,” in Proceedings of the European conference on computer vision (ECCV), 2018, pp. 666–682. [^27]: A. Spurr, J. Song, S. Park, and O. Hilliges, “Cross-modal deep variational hand pose estimation,” in Proceedings of the IEEE conference on computer vision and pattern recognition, 2018, pp. 89–98. [^28]: F. Mueller, F. Bernard, O. Sotnychenko, D. Mehta, S. Sridhar, D. Casas, and C. Theobalt, “Ganerated hands for real-time 3d hand tracking from monocular rgb,” in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 6 2018. [^29]: L. Yang, S. Li, D. Lee, and A. Yao, “Aligning latent spaces for 3d hand pose estimation,” in Proceedings of the IEEE/CVF international conference on computer vision, 2019, pp. 2335–2343. [^30]: A. Spurr, U. Iqbal, P. Molchanov, O. Hilliges, and J. Kautz, “Weakly supervised 3d hand pose estimation via biomechanical constraints,” in Proceedings of the European conference on computer vision (ECCV). Springer, 2020, pp. 211–228. [^31]: X. Chen, Y. Liu, Y. Dong, X. Zhang, C. Ma, Y. Xiong, Y. Zhang, and X. Guo, "Mobrecon: Mobile-friendly hand mesh reconstruction from monocular image," in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2022, pp. 20544–20554. [^32]: C. Wan, T. Probst, L. Van Gool, and A. Yao, “Crossing nets: Combining gans and vaes with a shared latent space for hand pose estimation,” in Proceedings of the IEEE conference on computer vision and pattern recognition, 2017, pp. 680–689. [^33]: J. Malik, I. Abdelaziz, A. Elhayek, S. Shimada, S. A. Ali, V. Golyanik, C. Theobalt, and D. Stricker, “Handvoxnet: Deep voxel-based network for 3d hand shape and pose estimation from a single depth map,” in Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, 2020, pp. 7113–7122. [^34]: S. Yuan, G. Garcia-Hernando, B. Stenger, G. Moon, J. Y. Chang, K. M. Lee, P. Molchanov, J. Kautz, S. Honari, L. Ge et al., “Depth-based 3d hand pose estimation: From current achievements to future goals,” in Proceedings of the IEEE conference on computer vision and pattern recognition, 2018, pp. 2636–2645. [^35]: L. Ge, Y. Cai, J. Weng, and J. Yuan, "Hand pointnet: 3d hand pose estimation using point sets," in Proceedings of the IEEE conference on computer vision and pattern recognition, 2018, pp. 8417–8426. [^36]: G. Moon, J. Y. Chang, and K. M. Lee, “V2v-posenet: Voxel-to-voxel prediction network for accurate 3d hand and human pose estimation from a single depth map,” in Proceedings of the IEEE conference on computer vision and pattern recognition, 2018, pp. 5079–5088. [^37]: L. Fang, X. Liu, L. Liu, H. Xu, and W. Kang, “Jgr-p2o: Joint graph reasoning based pixel-to-offset prediction network for 3d hand pose estimation from a single depth image,” in Proceedings of the European conference on computer vision (ECCV). Springer, 2020, pp. 120–137. [^38]: Y. Hu, S.-C. Liu, and T. Delbruck, “v2e: From video frames to realistic dvs events,” in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) Workshops, June 2021, pp. 1312–1321. [^39]: F. Zhang, V. Bazarevsky, A. Vakunov, A. Tkachenka, G. Sung, C.-L. Chang, and M. Grundmann, "Mediapipe hands: On-device real-time hand tracking," 2020. [Online]. Available: [^40]: S. Tan, J. Yang, J. Huang, Z. Yang, Q. Chen, L. Zheng, and Z. Zou, "Toward efficient eye tracking in ar/vr devices: A near-eye dvs-based processor for real-time gaze estimation," IEEE Transactions on Circuits and Systems I: Regular Papers, pp. 1–13, 2025. [^41]: S. Mehta and M. Rastegari, “Separable self-attention for mobile vision transformers,” 2022. [Online]. Available: [^42]: K. He, X. Zhang, S. Ren, and J. Sun, “Deep residual learning for image recognition,” 2015. [Online]. Available: [^43]: N. Ma, X. Zhang, H.-T. Zheng, and J. Sun, “Shufflenet v2: Practical guidelines for efficient cnn architecture design,” 2018. [Online]. Available: [^44]: A. Howard, M. Sandler, G. Chu, L.-C. Chen, B. Chen, M. Tan, W. Wang, Y. Zhu, R. Pang, V. Vasudevan, Q. V. Le, and H. Adam, “Searching for mobilenetv3,” 2019. [Online]. Available: [^45]: W. Falcon and The PyTorch Lightning team, "PyTorch Lightning," Mar. 2019, version 1.4, Apache-2.0 License. [Online]. Available: [^46]: S. Elfwing, E. Uchibe, and K. Doya, “Sigmoid-weighted linear units for neural network function approximation in reinforcement learning,” 2017. [Online]. Available: [^47] P. Ramachandran、B. Zoph和Q. V. Le所著的《寻找激活函数》，2017年。[在线]。可访问：