Fig. 1: Overview of the proposed EgoEV-HandPose framework and the established EgoEVHands dataset. The framework addresses (Left) the current challenges of RGB-based or monocular systems, such as lighting sensitivity and depth ambiguity, by introducing (Middle) EgoEVHands, the first large-scale, real-world stereo event-based dataset for egocentric hand perception, characterized by its HDR properties, 3D geometric constraints, and bimanual interactions. (Right) Performance analysis: The quantitative and qualitative experiments on the right side demonstrate that EgoEV-HandPose achieves superior hand pose estimation performance in both accuracy and complexity.
摘要—自我中心式的3D手部姿态估计与手势识别对于沉浸式增强现实/虚拟现实、人机交互以及机器人领域而言至关重要。然而，传统的基于帧的相机存在运动模糊和动态范围有限的问题；现有的基于事件的方法则受到自身运动干扰、单目深度歧义以及缺乏大规模真实世界立体数据集的限制。为克服这些局限，我们提出了EgoEV-HandPose——一种从立体事件流中联合进行双手法3D姿态估计与手势识别的端到端框架。该方法的精髓在于KeypointBEV，这是一个灵活的立体融合模块，它可将特征映射到规范的鸟瞰图空间中，并通过迭代的重投影引导细化循环来逐步消除深度不确定性并保障运动学一致性。此外，我们推出了EgoEV-Hands——首个面向自我中心式手部感知的大规模真实世界立体事件相机数据集，其中包含5419个标注序列，涵盖38种手势类别，在多种光照条件下均提供了密集的3D/2D关键点数据。大量实验表明，EgoEV-HandPose取得了业界领先的性能：MPJPE达到30.54毫米，Top-1手势识别准确率达86.87%，显著优于基于RGB的立体方法及以往的基于事件相机的方法，尤其在低光照和双手遮挡场景下表现突出，由此树立了基于事件的自我中心式感知的新标杆。该数据集及源代码将在上公开发布。
索引词—事件相机、3D手部姿态估计、立体相机、自我中心视觉、手势识别。
## 一、引言
从自我中心的视频流中进行3D手部姿态估计，尤其是针对双手交互场景，是自然且沉浸式人机交互的视频处理流程中的关键组成部分。实时处理此类视觉流能够将其无缝集成到增强现实（AR）[^1]、虚拟现实（VR）[^2]、人机交互（HCI）[^3]以及机器人系统[^4]中。自我中心的视角天然包含了源自人类视线的自然注意力线索，同时手部与头戴式传感器的近距离接触也提供了比第三人称场景更丰富的空间与语义信息，从而有助于在日常生活中实现更直观的双手协作任务。要提升这一能力，不仅需要精准的3D推断能力，还需要适合功耗受限的头戴式设备的、高效的视觉流处理能力。
不过，现有方法面临着若干关键性局限，我们将其归类为传感器限制、维度限制和场景限制（见图1左侧）。传统的基于帧的RGB相机和深度相机极易受到运动模糊、光照变化以及高功耗的影响，因此不适合用于动态的自我中心场景[^1]、[^5]、[^6]。事件相机作为一类新型的异步视觉传感器，会生成逐像素的亮度变化流，可作为传统视频的高时间分辨率替代品。
---
事件相机能够在微秒级时间分辨率下捕捉图像，具备超高的动态范围，且功耗仅为传统相机的几分之一 [^7]。然而，在以自我为中心的场景中处理此类异步事件视频流时，会受到自身运动噪声的严峻挑战：头部的持续运动会产生背景事件，这些事件会与手部产生的信号相互干扰，从而严重阻碍特征的分离 [^8], [^9]。此外，目前几乎所有的基于事件的方法都依赖单目输入，而这一本身存在歧义的问题会导致深度不确定性；现有研究往往通过拟合参数化网格模型（如MANO [^10] [^11] [^12]）来解决这一问题，但这会带来巨大的计算开销和潜在的拓扑不一致性，且仍无法完全消除空间不确定性。另外，以自我为中心的双手交互过程中会出现频繁且严重的自遮挡现象。单一视角根本无法提供推断不可见关节所需的空间覆盖范围，进而导致特征提取结果不稳定。更为棘手的是，目前缺乏大规模、真实场景下的专注于事件传感条件下双手交互的以自我为中心的数据集，这严重制约了有效算法的开发与评估。
为应对上述挑战，我们提出了EgoEV-HandPose——一种能够克服单目及基于帧的传感方式固有瓶颈的几何感知视频流处理框架（见图1）。该框架可端到端处理同步的双目事件流，充分利用极线约束与跨视图冗余信息，无需依赖网格拟合先验即可提供可靠的几何约束。其核心组件是高效的KeypointBEV双目事件融合模块，该模块能将融合后的二维特征映射到标准的鸟瞰图空间中，并通过迭代的重投影引导细化循环来逐步消除深度不确定性，同时确保双手运动的一致性。如图1右侧所示，这种设计理念实现了精准度与复杂度的良好平衡，使其适用于AR/VR视频处理流程。与此同时，我们推出了EgoEVHands（图1中间），这是首个专为以自我为中心的手部感知任务设计的大规模真实场景双目事件数据集。现有基于事件的方法要么仅关注高层手势语义而忽略运动姿态信息，要么在单目环境下运行，存在固有的深度不确定性与极端尺度变化问题；而EgoEVHands弥补了这一关键缺口，它提供了精确同步的双目事件序列，以及不同光照场景下单手和双手交互的高保真二维及三维手部关键点标注与分割掩码。
我们的基于立体事件的数据集与KeypointBEV模块之间的协同作用带来了显著的性能提升。如图1（右侧）所示，EgoEV-HandPose不仅达到了最先进的精度水平，还在误差率与模型复杂度之间保持了出色的平衡。从定性角度来看，它在“极端情况”场景下表现出极强的鲁棒性，例如传统传感器无法应对的快速运动及极低光照场景。在新提出的EgoEVHands数据集上进行的大量实验表明，EgoEV-HandPose在中心视觉三维双手姿态估计及同步手势识别任务中均取得了最先进的性能。该框架在各类真实场景中能将MPJPE值降至30.54毫米，Top-1动作识别准确率高达86.87%。相较于基于立体RGB的基准模型HandMvNet [^13]，其误差减少了57.5%；相较于领先的基于事件的双手基准模型Ev2Hands [^12]，误差更是减少了73.5%。此外，所提出的KeypointBEV模块具备强大的泛化能力：当将其集成到DEV-Pose [^14]并在DHP19基准测试 [^15] 中应用时，它能将MPJPE从55.53毫米降低至47.88毫米。综合来看，这些研究结果凸显了立体事件流融合与迭代式BEV精炼作为精准且稳健的中心视觉手部感知实用视频技术方案的有效性，可直接应用于AR/VR显示系统、可穿戴式人机交互设备以及其他对功耗敏感的可视化计算平台。
综上所述，本研究的主要贡献如下：(i) 我们从立体视角重新定义了中心视觉基于事件的手部感知问题，超越了单纯的手势分类范畴，实现了三维关键点预测与手势识别的有机结合。(ii) 我们提出了EgoEV-HandPose，这是一个硬件效率极高的端到端视频流处理框架，配备了KeypointBEV立体事件融合模块；该模块能将融合后的特征映射到鸟瞰图空间，并通过迭代式精炼从根本上消除单目深度歧义，从而实现了适用于AR/VR系统的优异精度-复杂度平衡。(iii) 我们构建了EgoEVHands——首个面向中心视觉三维手部姿态估计及双手交互的大规模真实场景立体事件数据集，该数据集涵盖了正常及低光照场景，并配有精确的三维标注。(iv) 我们证明了所提出的框架在EgoEVHands数据集上能取得最先进的性能，且在集成到现有基准模型时展现出强大的泛化能力。
本文是我们会议论文Ego-EvGesture [^16]的扩展版本，该论文首次提出了利用事件相机进行中心视觉手势识别的问题，同时推出了EgoEvGesture数据集以及能在未见过的受试者身上达到62.7%准确率的小型网络。与初版相比，本文在以下方面进行了改进：(i) 我们将任务定义从38类手势分类转变为同步三维双手关键点估计与手势识别的统一框架。(ii) 我们将系统架构从以二维为中心的分类流程升级为具备几何感知能力的三维感知框架。所提出的EgoEV-HandPose集成了高效的KeypointBEV模块，该模块能将立体融合后的特征映射到鸟瞰图空间，以解决深度歧义与自遮挡问题。(iii) 我们通过为原始事件流添加高精度的二维/三维标注及分割掩码，构建了EgoEVHands数据集。(iv) 我们开展了更为广泛的实验，以验证所提出的具备几何感知能力的框架的有效性与即插即用式的泛化能力。
### II. 相关工作
在本节中，我们回顾了关于基于帧的以自我为中心的手部感知、基于事件的手部感知以及立体融合与联合感知范式的相关研究工作。
---
TABLE I: Dataset comparison with key attributes.
| Dataset | Modality | Volume | Classes | 2D | 3D | 2H | Real | IP | Res |
| EgoGesture [^3] | R | 3M | 83 | - | - | - | - | - | 640 |
| FPHA [^5] | R | 0.1M | 45 | P | - | - | - | - | 1080 |
| EPIC-K [^17] | R | 11M | 149 | - | - | - | - | - | 1080 |
| H20 [^18] | R | 0.6M | 36 | - | - | - | - | - | 720 |
| Asm101 [^4] | R | 110M | 1k | - | - | - | - | - | 1080 |
| ARCTIC [^19] | R | 2M | 11 | - | - | - | - | - | 2800 |
| HOI4D [^20] | R | 2M | 54 | - | - | - | - | - | 8000 |
| DVS128 [^21] | E | 1ks | 10 | - | - | - | - | - | 128 |
| N-EPIC [^22] | E | - | 8 | - | - | - | - | - | 225 |
| EHoA [^23] | E+R | 2ks | 8 | - | - | - | - | - | 346 |
| EvRealH [^11] | E+R | 79m | - | - | - | - | - | - | 720 |
| Ev2H-S [^12] | E | * | - | - | - | - | - | - | 512 |
| Ev2H-R [^12] | E+R | 20m | - | - | - | - | - | - | 346 |
| EvHands [^10] | E | 100h | - | - | - | - | - | - | 240 |
| EvEgo3D [^9] | E | 127m | - | - | - | - | - | - | 320 |
| Helios [^24] | E | 600S | 7 | - | - | - | - | - | 320 |
| EvRealH2 [^25] | E+R | 74m | - | - | - | - | - | - | 346 |
| Ours | E | 5ks | 38 | - | - | - | - | - | 720 |
✓=是，==否，P=部分具备，B=两者兼具。
注：“部分具备”指的是那些可能支持推导关节信息的资源（例如RGB+D数据、网格或部分标注），但数据集/项目并未明确发布完整的2D关节真值；仅包含掩码或动作标签的情况不被视为2D关键点。如果某个数据集未明确提供相机内参/参数，或明确的3D→2D投影标注流程，我们就不认为能从已发布的3D数据中推导出2D关键点。
属性：模态（R=RGB，E=事件）、2H：双手操作、Res：分辨率（像素）、Real：真实场景、1P：第一人称
单位：$M=10^{6}$帧、$k=10^{3}$、S=样本数、m=分钟、h=小时、$*=3.1\times10^{8}$个事件
如表I所示，我们的EgoEVHands是首个面向真实场景的用于以自我为中心的三维手部姿态估计的立体事件相机数据集，相较于现有的基于帧或基于事件的方法，它具有多项优势。
### A. 基于帧的以自我为中心的手部感知
以自我为中心的手部感知是增强现实和机器人领域实现沉浸式交互的基础，但由于严重的自遮挡、透视畸变、低分辨率以及频繁的运动模糊现象，这一任务仍极具挑战性 [^1], [^5]。过去十年间，基于帧的方法取得了显著进展，这得益于大规模以自我为中心数据集的出现，以及Ego4D [^1]、H2O [^18]、Assembly101 [^4]、FPHA [^5]、ARCTIC [^19]、AssemblyHands [^26]、Ego2HandsPose [^27]和EgoGesture [^3]等综合性库的支持。在这一领域中，单目三维手部姿态估计主要聚焦于直接的3D关键点回归 [^28], [^29]，这种方式能提供轻量级的骨骼表示。然而，这些方法在定位精度上存在固有缺陷；从3D空间到2D平面的投影会引入病态的深度歧义问题，再加上严重的自遮挡现象，使得直接回归无法满足高精度跟踪的需求 [^30]。为了缓解这些歧义问题，研究界转向了复杂的参数化模型拟合和密集网格恢复技术 [^31] [^32] [^33]。通过利用MANO [^34] [^35] [^36]等模型提供的强解剖学先验，这些框架能够确保拓扑一致性和更优的姿态估计效果。不过，这种精度的提升是以更高的计算开销和复杂的优化流程为代价的 [^37]，这对于功耗受限的可穿戴设备而言往往难以承受。
在精度与效率之间的这种权衡，自然推动了从单目先验向立体几何约束的过渡。通过充分利用跨视图对应关系，立体配置能够通过明确的几何三角测量来解决深度不确定性问题，而非仅仅依赖复杂单目建模中所使用的数据驱动型先验。HandMvNet [^13]和POEM [^38]等最新研究成果表明，多视图融合能够借助不同视角下的遮挡信息解析来实现鲁棒且高精度的关键点定位，这种方法在数学层面上比复杂的单目网格估计器更具可靠性。此外，学界越来越一致认为，这类精确的运动学特征对于高层语义理解至关重要。In My Perspective [^39]和FPHA基准测试 [^5]等框架表明，它们的研究重点仍在于将手部关键点与动作分类任务相整合，从而形成强大的协同效应——手部的空间动态所提供的判别性线索能够显著提升手势识别的性能 [^18]、[^40]。
### B. 基于事件的手部感知
事件相机凭借其微秒级的时间分辨率和高动态范围，已成为手部分析领域极具颠覆性的传感方式 [^7]。早期探索始于DVS128 [^21]这类针对特定硬件设计的手势识别系统，不过这类系统受限于较低的空间分辨率和有限的运动多样性。后续针对第三人称视角的研究转向了高保真度的3D跟踪与重建。例如，EventHands [^10]利用局部归一化的事件表面来实现$1kHz$姿态估计；EvHandPose [^11]则借助手部流表示来消除运动歧义。为了应对更复杂的场景，EvRGBHand [^25]尝试将RGB流与事件流融合以实现网格恢复，而Ev2Hands [^12]则率先实现了从单目事件流中对两只交互手部进行3D跟踪。尽管这些第三人称视角框架取得了成功，但它们往往假设视角相对稳定，无法适应可穿戴设备所特有的极端视角畸变以及相机与手部间的快速运动情况。
近期，研究重点已转向以自我为中心的视角，这种视角更符合沉浸式交互的需求。EventEgo3D [^9] 率先实现了从以自我为中心的事件流中进行三维人体动作捕捉，但其重点仍主要放在全身运动学上，而非精细的双手动作。在高层次语义方面，E2(GO)MOTION [^22] 和 EHoA [^23] 分别确立了以自我为中心的动作识别与手-物体交互的基准。针对低功耗可穿戴应用，Helios [^24] 在智能眼镜上展示了实时手势识别能力。EventEgoHands [^8] 进一步将自我中心分析拓展到三维网格重建领域；然而，它对合成训练数据的严重依赖导致了显著的域差异，进而限制了其在现实世界中的鲁棒性。EgoEvGesture [^16] 则提供了大规模的现实世界以自我为中心的手势识别基准。尽管如此，仍存在一个关键缺口：当前基于事件的方法要么只处理高层次的手势语义却无法提供运动姿态信息，要么专注于单目环境下的三维姿态估计，而这类方法存在固有的深度模糊性与极大的尺度变化问题。具体而言，缺乏现实世界的立体自我中心数据集以及统一的框架来应对这一问题。
---
(a) Hand segmentation mask generated by Grounded-SAM.
(b) Original 2D hand keypoints detected on the RealSense infrared image.
Fig. 2: Illustration of the intermediate annotation results in the proposed pipeline, including the automatically detected hand segmentation mask and the corresponding 2D hand keypoints. can simultaneously achieve precise 3D hand pose estimation and robust gesture recognition in unconstrained environments.
### C. 立体融合与联合感知范式
立体视觉为解决以自我为中心的三维手部姿态估计中固有的深度不确定性提供了合理的物理解决方案。在三维表示方面，效率与定位精度之间存在根本性的矛盾。一种常见的范式是密集体积提升 [^38]、[^41]、[^42]，该方法通过构建显式的三维体素网格或代价体积来确保空间一致性。虽然这些方法能达到较高的精度，但密集三维表示所带来的内存占用与计算冗余往往对资源受限的可穿戴硬件而言难以承受。相反，轻量级的两阶段流程 [^43]、[^44] 通常先进行二维检测，再进行解析性三角测量。尽管效率较高，但此类方法缺乏统一的空间表示，且极易受到二维领域中遮挡引起的误差影响，这些误差会在提升过程中被放大。近年来，鸟瞰图（BEV）投影 [^45]、[^46] 作为一种中间表示方式应运而生，它能在保持类似二维的计算效率的同时保留三维拓扑一致性。然而，BEV表示在以自我为中心的手部分析中应用有限，且其方法论与自动驾驶领域的起源存在差别。大多数当代用于手部或人体姿态估计的多视图框架 [^13]、[^47] 主要依赖于隐式特征级融合，并未显式建模底层的相机几何结构。这些方法通常依靠无参数的跨视图注意力机制或隐式潜在融合来规避显式校准的复杂性。虽然它们在学习统计相关性方面效果显著，但这种特征级调制缺乏明确的几何锚点——即由相机内参和外参提供的刚性物理约束。缺少这些锚点后，网络只能从数据中学习透视几何关系，从而在头戴式事件相机所特有的快速运动与极端视角变化条件下，表现出较低的鲁棒性。
此外，现有的BEV架构与手部姿态任务的稀疏特性之间存在严重不匹配。标准的BEV范式是为密集的场景占用设计的，而手部姿态估计本质上是一个从稀疏到稀疏的问题，涉及有限数量的骨骼关键点。当前的以自我为中心的立体视觉方法 [^48]、[^49]。
Fig. 3: The head-mounted capture system employed for EgoEVHands data acquisition. The system integrates a RealSense D435 RGB-D camera and two Prophesee EVK4 event cameras, each equipped with a 4 mm focal length wide-angle lens. The cameras are rigidly mounted for synchronized egocentric recording.
这些方法往往依赖密集的特征体积，或者缺乏专门的基于BEV的机制来在明确的几何引导下融合与稀疏关键点相关的特征。在BEV平面上缺少一种轻量级、稀疏且以几何为锚点的融合机制，这构成了显著的缺口。本研究通过引入一个端到端框架来解决这一局限，该框架利用相机参数将稀疏关键点特征明确地锚定在BEV表示中，从而将几何约束的精确性与稀疏处理的高效性相结合。
为了填补这些缺口，我们提出的EgoEV-HandPose框架实现了3D手部姿态估计与手势识别的联合建模。与依赖大量体素的方法不同，我们采用轻量级的EgoBlaze骨干网络并共享部分权重来提取2D基元，随后通过KeypointBEV模块借助重投影引导的视觉反馈实现迭代优化。通过整合用于手势识别的腕部归一化时序变换器，我们提供了一种兼顾立体几何先验与事件流时序动态特性的整体解决方案。
为了进一步说明我们提出的基准测试的必要性，表I中给出了现有各模态手势识别数据集的全面对比。该表从感知模态、数据量、动作类别、双手交互支持、空间分辨率、发表年份、实际应用性和以自我为中心的视角八个关键维度对18个数据集进行了评估。值得注意的是，EgoEVHands（我们提出的数据集）具备四项显著优势：（1）据我们所知，它是首个也是唯一的以自我为中心的手势事件数据集——现有的事件数据集主要聚焦于第三人称动作，而我们采集的数据包含了以自我为中心视角下特有的、受头部运动影响的事件；（2）事件样本量最大（5,419个）；（3）在事件数据集中手势类别最丰富（38类）；（4）原生支持以自我为中心场景下的双手交互——这些特性在现有的事件流基准测试中尚未出现。
### III. EGOEVHANDS：已建立的数据集
为了解决以自我为中心的手部分析领域真实世界立体事件数据严重匮乏的问题，我们推出了EgoEVHands数据集。该数据集基于原始的立体事件流构建。
---
这些数据最初采集自EgoEvGesture [^16]，本研究通过引入专为3D手部姿态估计定制的高质量标注集合，实现了重大进步。虽然前作主要关注手势级别的分类，但我们的数据集提供了：（i）精确同步的立体事件序列；（ii）单手及双手交互情况下的密集2D和3D手部关键点坐标；（iii）灰度帧、深度图和像素级手部分割掩码等精细辅助模态。这些标注是在低光和正常光照等多种环境下整理的，为基于事件的自我的中心3D手部感知建立了严格的基准。
数据采集系统和38种手势协议遵循EgoEvGesture [^16]中详细描述的设计方案（头戴式采集系统硬件见图3）。
### A. 标注流程
高质量的3D手部关键点标注是通过半自动流程获得的，该流程以RealSense D435的数据为基准。首先，将Grounded-SAM [^50]应用于RealSense红外图像以生成精确的手部分割掩码，这些掩码被纳入最终数据集中（见图2a）。利用Mediapipe [^51]在每种红外帧的三个变体（原始帧、掩码帧和背景移除帧）上自动检测初始2D关键点（每只手21个，两只手共42个）。随后选取最可靠的那一组关键点，交由专业标注员进行人工筛选和优化，以修正检测失败或模糊不清的情况（见图2b）。
接着，将RealSense红外视图中优化后的2D关键点利用对应的深度值（缺失的深度值采用邻域平均法补充）以及相机内参反投影到3D世界坐标中，从而生成稀疏的3D真实值。仅在较小的时间间隔内才会在3D空间中进行线性插值以获得密集的标注；时间间隔较大的帧则被视为无效。最后，利用校准后的内参和外参，将密集的3D关键点投影到左右事件相机的成像平面上，从而得到两个视角的对齐2D关键点及投影分割掩码。所有标注均以统一格式存储，并附带标识位来说明点是原始的、插值的还是无效的。
### B. 数据集统计信息
EgoEVHands数据集包含5,419个完全标注的样本，每个样本都提供了同步的左右事件流、RealSense红外与深度图像、手部分割掩码以及密集的3D/2D关键点。这些数据涵盖了10名不同参与者在不同光照条件下执行的38种手势类别。为了分析手部交互的多样性，我们进一步根据复杂度将这38种手势类别划分为四类具有代表性的语义组：单手交互、无遮挡的双手交互、自我遮挡以及相互遮挡。如图4中的t-SNE流形图所示，我们的数据集在左右相机视角下均展现出较强的区分能力。即便
Fig. 4: Manifold visualization of the EgoEVHands dataset using t-SNE. To highlight the stereo nature of our data, we unroll the sequences into frame-level samples and treat the left and right views independently. The 38 gesture classes are categorized into four distinct semantic groups: (i) single-hand interaction, (ii) bimanual interaction without occlusion, (iii) self-occlusion, and (iv) mutual occlusion. Despite the high complexity of occluded scenarios and varying illumination, the clear separation and clustering of these diverse interactions demonstrate the high intra-class consistency and structural richness of our real-world annotations.
在具有挑战性的相互遮挡和低光照场景下，明显的聚类模式也凸显出我们半自动标注流程的高保真度，以及以自我为中心的双手交互的全面覆盖性。该数据集将会公开发布，以便推动未来基于事件的3D手部感知研究。
### IV. 方法论
我们的框架名为EgoEV-HandPose，其设计目标是从同步的立体事件流$\mathbf{P} \in \mathbb{R}^{J \times 3}$和$\mathcal{E}_L$中 jointly重建3D手部姿态$\mathcal{E}_R$并识别对应的动作标签y。为了应对基于事件的自我中心手部感知所面临的挑战，该流程首先采用局部归一化事件表面（LNES）来处理事件稀疏性问题，并利用EgoBlaze模块抑制自身运动带来的干扰。在这些基础特征之上，我们方法的核心在于KeypointBEV融合模块，该模块专门设计用于解决事件数据中固有的几何歧义问题。通过将立体融合特征映射到标准的鸟瞰图（BEV）空间中，KeypointBEV利用迭代优化策略与重投影引导的视觉反馈循环来显式关联立体几何关系，从而逐步将稀疏的异步脉冲转化为运动学上一致的3D感知结果。
我们提出的框架的架构蓝图如图5所示。具体而言，该流程被划分为
---
Fig. 5: Overall pipeline of the proposed EgoEV-HandPose. Synchronized left and right event streams are converted to LNES [^10] and processed by the EgoBlaze backbone to extract 2D heatmaps (Hms), segmentation masks (Seg), and local features. These 2D cues are subsequently fed into the KeypointBEV module. During the Iterative Refinement Loop, the module generates intermediate predictions, including J2dLRefine, J2dRRefine, and J3d_Refine, which are utilized for calculating intermediate supervision losses. Upon completion of the iterations, the module produces the Final_3D pose and its corresponding 2D re-projections (Final_L and Final_R). Finally, a temporal action classification branch is employed for gesture recognition.
三个协同工作的组件：(i) 采用完全权重共享的双视图基于事件的二维特征提取骨干网络EgoBlaze；(ii) KeypointBEV模块，该模块将立体几何与重投影引导的视觉反馈循环显式结合，以实现迭代式的三维精细化处理；(iii) 基于Transformer的时间动作分类头。在本文中，我们用粗体小写字母表示向量（如u），用粗体大写字母表示矩阵和集合（如P、E），用斜体小写字母表示标量（如y、$\lambda$）。
### A. 二维特征提取骨干网络
第一个模块的主要目标是将原始立体事件流转化为具有区分度的二维表征，同时抑制自身运动带来的干扰。根据[^10]的描述，我们将原始事件转换为LNES，它能在固定的时间窗口$\Delta T$内对事件进行编码。具体来说，对于每个像素x，表面值$\mathbf{S}(\mathbf{x})$是通过线性插值核来定义的：
$$ \mathbf{S}(\mathbf{x})=\sum_{i\in\mathcal{E},\Delta T}p_{i}\cdot\max\left(0,1-\frac{t-t_{i}}{\Delta T}\right), $$
其中$p_i \in \{-1,1\}$代表事件极性，t为当前时间戳，$t_i$则是第i个事件的触发时间。这种表述方式有效地优先考虑了最近发生的事件脉冲，同时对历史信息进行了线性抑制，从而确保表征$\mathbf{S} \in \mathbb{R}^{H \times W \times 2}$能够对瞬时的手部动态保持敏感。随后，我们采用权重共享的EgoBlaze模块来处理这些表面数据，在严格的计算资源限制下保证跨视图特征的一致性。
为了在严格的计算资源限制下实现高泛化能力，我们开发了EgoBlaze模块来处理这些表面数据，通过在两个立体视图间实现完全的参数共享来确保跨视图特征的一致性，并尽可能减小模型的规模。具体而言，编码器
---
其设计借鉴了我们之前的工作[^16]，采用一系列轻量化的非对称深度卷积和状态空间模型（SSM）模块来提取与模态相关的时空特征。为了解决以自我为中心的视觉场景中常见的严重自身运动干扰问题（如头部移动），我们遵循[^12]中的原则，引入了置信度门控机制，该机制能够自适应地调节历史事件证据的重要性。这个门控机制会对编码器的输出特征进行过滤，预测出与运动相关的注意力图，从而有效抑制背景噪声和头部运动引发的脉冲，同时保留与活跃手势相关的高对比度信号。解码阶段分为两个并行但轻量化的分支：热图解码器（Hms Decoder），它输出用于二维关节定位（J2dL、J2dR）的42维热图特征；分割解码器（Seg Decoder），它输出用于手部掩码预测的1维特征。这一阶段的输出将作为迭代式三维精细化的基础线索。
### B. KeypointBEV：迭代式三维精细化处理
单目二维投影本质上存在几何歧义和自我遮挡问题。为解决这一问题，我们提出了KeypointBEV（见图5）——一种轻量化的基于点的方案，它通过迭代式的重投影引导反馈循环来实现全局三维推理。
给定经过校准的立体相机内参 $\mathbf{K}_v$、外参 $[\mathbf{R}_v|\mathbf{T}_v]$（对应视图 $v \in \{L, R\}$）以及畸变参数 $\mathbf{D}$，我们首先对初始的2D坐标进行三角测量，以得到粗略的3D位姿 $\mathbf{P}_{\text{init}} \in \mathbb{R}^{B \times J \times 3}$。同时，左右特征图会通过 $1 \times 1$ 卷积层处理并展平，从而生成全局特征。这些特征会与形状为 $[B, J, D]$ 的可学习联合身份嵌入相结合，作为细化过程的初始查询词元 $\mathbf{Q}$。
细化过程会执行 $N = 3$ 次迭代。在第k次迭代中，当前的3D估计值 $\mathbf{P}^{(k)}$（采用齐次坐标 $\tilde{\mathbf{P}}^{(k)}$）会通过 $\tilde{\mathbf{u}}_{v}^{(k)} = \mathbf{K}_{v}[\mathbf{R}_{v}|\mathbf{T}_{v}]\tilde{\mathbf{P}}^{(k)}$ 投影到双视图平面上。为了采样特征，我们首先计算归一化的网格坐标 $\hat{\mathbf{u}}_{v}^{(k)} \in [-1,1]^{2}$：
$$ \hat{\mathbf{u}}_{v}^{(k)}=2\cdot\mathrm{d i a g}(W^{-1},H^{-1})\cdot\mathbf{u}_{v}^{(k)}-\mathbf{1}. $$
随后，按照GlobalBEV3D的方法，利用双线性插值算子 $\mathbf{f}_v^{(k)}$ 从骨干网络的特征图 $\mathbf{F}_v$ 中提取局部视觉线索 $\mathcal{B}(\cdot)$：
$$ \mathbf{f}_{v}^{(k)}=\mathcal{B}(\mathbf{F}_{v},\hat{\mathbf{u}}_{v}^{(k)}). $$
特征投影层会将来自两个视图的这些采样特征整合为统一的视觉描述符 $\mathbf{F}_{vis}^{(k)} \in \mathbb{R}^{B \times J \times D}$。为了注入显式的运动学感知空间上下文，$\mathbf{P}^{(k)}$ 会通过门控位置编码映射为空间描述符 $\mathbf{F}_{sp}^{(k)}$：
$$ \mathbf{F}_{{s p}}^{(k)}=\operatorname{S i g m o i d}(\mathbf{M L P}(\mathbf{P}^{(k)}))\odot\operatorname{S o f t p l u s}(\operatorname{P E}(\mathbf{P}^{(k)}\cdot\gamma^{(k)})), $$
其中 $\gamma^{(k)}$ 是一个可学习的、与迭代步骤相关的缩放因子。最后，Transformer解码器 $\Phi(\cdot)$ 会以查询词元 $\mathbf{Q}$、采样得到的视觉特征 $\mathbf{F}_{vis}^{(k)}$ 以及空间描述符 $\mathbf{F}_{sp}^{(k)}$ 作为输入，来预测空间几何残差 $\Delta\mathbf{P}^{(k)} = \Phi(\mathbf{Q}, \mathbf{F}_{vis}^{(k)}, \mathbf{F}_{sp}^{(k)})$。3D位姿会通过以下公式更新：
$$ \mathbf{P}^{(k+1)}=\mathbf{P}^{(k)}+\eta^{(k)}\cdot\Delta\mathbf{P}^{(k)}, $$
其中 $\eta^{(k)}$ 是经学习得到的更新比例，用于确保细化循环过程中的数值稳定性。该机制迫使网络根据确定的2D视觉反馈来修正动态不一致的3D估计值，有效利用公式(2)到公式(5)中的迭代逻辑，最终收敛到更精确的位姿。
### C. 时序动作分类
对于长度为T的序列，我们首先对空间关节 $\mathbf{p}_{j,t}$ 进行以手腕为中心的正则化，从而得到相对坐标 $\bar{\mathbf{p}}_{j,t}$：
$$ \mathbf{\bar{p}}_{j,t}=\mathbf{p}_{j,t}-\mathbf{p}_{\mathrm{w r i s t},t},\quad j\in\{1,\ldots,J\}. $$
随后，为了确保不同受试者之间的尺度不变性，我们利用手掌长度（即手腕到中指MCP关节的距离 $p_{9}$）进行尺度正则化。最终的正则化坐标 $\hat{\mathbf{p}}_{j,t}$ 计算如下：
$$ \hat{\mathbf{p}}_{j,t}=\frac{\mathbf{\bar{p}}_{j,t}}{\|\mathbf{\bar{p}}_{9,t}\|_{2}+\epsilon}, $$
其中 $\epsilon = 10^{-5}$ 是一个很小的常数，用于防止除以零的情况。由于在公式(6)中进行中心化处理后 $\bar{p}_{wrist,t}$ 会变为0，因此公式(7)中的分母实际上代表了特定受试者的手部尺度。
为了建模手势的时序演变过程，每个时间步t处的正则化关节会被展平为一个单一的特征向量 $\mathbf{v}_t \in \mathbb{R}^{168}$。整个手势由此被表示为一个时序序列 $\mathbf{V} = \{\mathbf{v}_1, \mathbf{v}_2, \ldots, \mathbf{v}_T\} \in \mathbb{R}^{T \times 168}$。该序列会经过线性投影映射到嵌入维度 $D = 512$，并在其前端添加可学习的[CLS]词元。在为这T帧添加用于保留时间顺序的时序位置编码后，由3层组成的Transformer编码器会聚合序列中的长期依赖关系。
最后，MLP分类器会对来自[CLS]词元的提取得到的全局表征 $\mathbf{z}_{[CLS]}$ 进行处理，输出针对 $C = 38$ 个动作类别的预测概率分布：
$$ \begin{array}{r}{\hat{y}=\mathrm{S o f t m a x}\big(\mathrm{M L P}(\mathbf{z}_{[\mathtt{C L S}]})\big).}\end{array} $$
### D. 多阶段联合优化
为了在保持模块化以确保稳定收敛的同时，实现2D、3D和时间域上的运动学一致性，训练会按照分阶段课程进行，随后再进行最终的端到端微调。
2D特征骨干预训练：我们首先分离出共享的2D编码器和解码器头，训练它们生成可靠的关节热图和手部分割掩码。此阶段的监督信号定义为：
$$ \mathcal{L}_{\mathrm{2D}}=\lambda_{\mathrm{h m s}}\mathcal{L}_{\mathrm{H m s}}+\lambda_{\mathrm{s e g}}\mathcal{L}_{\mathrm{S e g}}, $$
---
其中 $\mathcal{L}_{\mathrm{Hms}}$ 表示高斯热图上的均方误差，$\mathcal{L}_{\mathrm{Seg}}$ 表示二元交叉熵损失。将该模块训练至收敛后，可得到高质量的2D估计结果，这些结果可作为3D提升的稳定锚点。
关键点BEV模块训练：为防止次优的几何梯度破坏已初始化良好的表征，我们暂时冻结2D骨干网络的权重，随后训练关键点BEV模块。其监督信号既包括最终的3D目标，也包括中间的2D投影结果：
$$ \mathcal{L}_{\mathrm{B E V}}=\lambda_{3d}\mathcal{L}_{\mathrm{3D}}+\sum_{k=1}^{N}\big(w_{k}^{2d}\mathcal{L}_{\mathrm{I t e r2D}}^{(k)}+w_{k}^{3d}\mathcal{L}_{\mathrm{3D}}^{(k)}\big), $$
其中 $\mathcal{L}_{\mathrm{3D}}$ 是对精细化3D坐标计算的Smooth-$L_{1}$损失，$\mathcal{L}_{\mathrm{Iter2D}}^{(k)}$ 则用于惩罚第k次迭代时的投影误差。引入中间2D粒度能显著改善迭代循环的收敛表现。
动作分类器预训练：利用冻结的几何流水线，我们提取并缓存2D关键点序列，以此单独训练时间头。这种基于轨迹的预训练通过将高层语义学习与早期阶段的几何随机性解耦，大幅提升了数据利用效率。分类器通过标准的交叉熵损失进行优化：
$$ \mathcal{L}_{\mathrm{A c t}}=\mathcal{L}_{\mathrm{C E}}(\hat{y},y), $$
其中y为真实动作标签。
联合端到端微调：当各个组件达到理想状态后，我们执行统一优化，以协调所有域中的表征。由于所有内部操作（如软argmax、加权三角测量、迭代更新）均为完全可微的，梯度流可贯穿整个架构。综合损失函数定义如下：
$$ \mathcal{L}=\lambda_{\mathrm{h m s}}\mathcal{L}_{\mathrm{H m s}}+\lambda_{\mathrm{s e g}}\mathcal{L}_{\mathrm{S e g}}+\lambda_{\mathrm{a c t}}\mathcal{L}_{\mathrm{A c t}}+\sum_{k=1}^{N}\left(w_{k}^{2d}\mathcal{L}_{\mathrm{I t e r2D}}^{(k)}+w_{k}^{3d}\mathcal{L}_{\mathrm{3D}}^{(k)}\right) $$
渐进式权重 $\{w_k^{2d}, w_k^{3d}\}$ 按单调方式调度，以逐步增加对后续迭代的侧重程度，从而有效引导网络从粗略的空间定位过渡到精细的运动学调整。损失超参数通过交叉验证经验性地确定，典型的初始值分别为 $\lambda_{\mathrm{hms}} = 0.05$、$\lambda_{\mathrm{seg}} = 1.0$、$\lambda_{\mathrm{act}} = 10.0$ 和 $\lambda_{3d} = 0.5$，这些取值可实现最优的多任务收敛效果。
实践中，我们采用分阶段训练课程来确保稳健的收敛性和优化效率。具体而言，在关键点BEV模块训练的初期，EgoBlaze骨干网络会被暂时冻结，以防止次优的几何梯度破坏已初始化良好的2D表征。为了进一步提升数据利用效率，我们利用缓存的2D骨骼序列对时间头进行预训练。这一策略有效地将高层语义学习与早期3D提升过程中固有的随机噪声解耦，使模型能够专注于运动动态的分析。在整个迭代细化循环中，我们对中间2D投影误差 $\mathcal{L}_{Iter2D}^{(k)}$ 施加惩罚，以维持不同阶段间的几何一致性。最后，由于包括特征采样和坐标更新模块在内的所有组件均被设计为端到端可微的，我们开展联合微调阶段，以协调整个流水线，实现最优的运动学和手势识别性能。
### V. 实验
本节对EgoEV-HandPose方法在EgoEVHands数据集上的性能进行了严格评估。我们详细说明了评估指标和实现细节，随后全面分析了不同场景下的结果、对比基线以及模型复杂度。此外，我们还通过消融实验和跨架构评估，证明了所提出的立体融合模块具有卓越的泛化能力。
### A. 评估指标
我们采用多项定量指标对所提框架进行评估：图像平面上关键点定位精度的2D误差（单位：像素）；绝对3D姿态精度和结构3D姿态精度的平均关节位置误差（MPJPE）及经过Procrustes对齐的MPJPE（PA-MPJPE），单位均为毫米；在0到50毫米阈值范围内计算的正确关键点百分比（PCK）曲线下面积（AUC）；以及针对38种交互类别的Top-1动作准确率（%）。为了全面评估所提方法，我们按照[^16]的要求采用了两种数据划分方案：（1）异质分布：选取参与者1、2和9的序列作为测试集，以评估其对未见身份的泛化能力；（2）同质分布：为了评估模型对个体内部的适应性，我们选用所有参与者每种手势的前三次重复（rep 0-2）作为训练数据，其余序列则用于测试。
### B. 实现细节
该框架基于PyTorch实现，在单张NVIDIA A800 GPU上进行训练。我们采用Adam优化器，初始学习率为$1.0 \times 10^{-4}$。在进行关节微调时，学习率会降至$5.0 \times 10^{-5}$，并采用阶梯式衰减策略（每10个epoch衰减为原来的0.1倍），训练共进行25个epoch。为防止训练过程不稳定，我们设置了最大范数为5.0的梯度裁剪机制。
### C. 主要结果与场景分析
不同分布下的定量评估：表II全面展示了所提框架在EgoEVHands数据集上的评估结果，其中上半部分为同质（HOMO）分布，下半部分为异质（HETER）分布。我们的框架利用立体事件流进行3D手部姿态估计时建立了稳健的基准。在HOMO分布下，该框架的MPJPE-3D值达到22.03毫米；而在HETER分布下，MPJPE-3D值为30.54毫米。这种在不同协议下保持稳定的性能，体现了框架的多方面优势：HOMO分布下的结果验证了其在身份一致场景中的适应性和稳定性，而HETER分布下的结果则证实了其在面对未见身份和多样运动场景时强大的泛化能力和跨个体鲁棒性。
---
TABLE II: Comprehensive quantitative comparison on the EgoEVHands dataset. Performance is evaluated via M-2D: Mean Pixel Joint Error (px), M-3D: Mean Per Joint Position Error (mm), and PA-M3D: Procrustes Analysis Mean Per Joint Position Error (mm). Scenario-wise results cover lighting (Norm.: Normal light, Low: Low light) and hand types (Sing.: Single, Bimanual). Bimanual cases are split into: (i) All, (ii) Inter: interaction without occlusion, (iii) Self: self-occlusion, and (iv) Mut.: mutual occlusion. Efficiency is reported via Params (M) and GFLOPs on the right, where w/o action cls. denotes the exclusion of the action classification module to ensure a fair comparison with pose-only methods. HOMO and HETER denote homogeneous and heterogeneous distributions respectively. † denotes re-implemented methods.
| Method | Venue | Mod. | All Data (Overall) | Scenario-wise MPJPE $\downarrow$ | Efficiency |
| M-2D | M-3D | PA-M3D | Norm. | Low | Sing. | Bimanual | Param $\downarrow$ | GFLOPs $\downarrow$ |
| All | Inter. | Self | Mut. |
| HOMO (Homogeneous Distribution) |
| HandMvNet $^{\dagger}$ [^13] | VISAPP'25 | F-B-1/3 | 29.64 | 36.43 | 26.97 | 34.81 | 37.20 | 36.09 | 38.12 | 37.49 | 37.82 | 39.21 | 85.9 |
| Ev2Hands $^{\dagger}$ [^12] | CVPR'24 | E-M-3 | 35.47 | 54.31 | 30.74 | 53.34 | 54.77 | 54.84 | 51.71 | 52.10 | 51.64 | 51.48 | 4.50 |
| EvHandPose $^{\dagger}$ [^11] | CVPR'24 | E-M-3 | 19.38 | 33.50 | 22.53 | 32.60 | 33.93 | 33.50 | - | - | - | - | 47.4 |
| EventEgo3D $^{\dagger}$ [^9] | CVPR'23 | E-M-1 | 27.24 | 36.61 | 27.55 | 37.23 | 36.32 | 36.28 | 38.24 | 36.90 | 100.1 | 38.22 | 1.38 |
| Ours (KeypointBEV) w/o action cls. | - | E-B-1 | 11.48 | 22.03 | 18.96 | 22.31 | 21.90 | 22.04 | 21.99 | 21.65 | 22.09 | 22.13 | 5.88 |
| HETER (Heterogeneous Distribution) |
| HandMvNet $^{\dagger}$ [^13] | VISAPP'25 | F-B-1/3 | 38.41 | 71.87 | 34.83 | 62.16 | 82.43 | 68.31 | 72.62 | 69.98 | 73.97 | 73.64 | 85.9 |
| Ev2Hands $^{\dagger}$ [^12] | CVPR'24 | E-M-3 | 68.90 | 115.13 | 82.30 | 118.39 | 111.66 | 120.46 | 114.05 | 115.34 | 112.69 | 114.30 | 4.50 |
| EvHandPose $^{\dagger}$ [^11] | CVPR'24 | E-M-3 | 28.15 | 60.20 | 26.00 | 58.49 | 62.06 | 60.20 | - | - | - | - | 47.4 |
| EventEgo3D $^{\dagger}$ [^9] | CVPR'23 | E-M-1 | 42.10 | 72.76 | 36.50 | 70.49 | 75.21 | 61.51 | 75.05 | 67.34 | 73.06 | 84.35 | 1.38 |
| Lifting Module Analysis (Using our fixed 2D Backbone) |
| EventEgo3D $^{\dagger}$ [^9] | CVPR'23 | E-M-1 | 16.64 | 51.27 | 23.40 | 48.31 | 54.47 | 45.29 | 52.49 | 48.67 | 51.63 | 56.97 | 2.31 |
| BEVFormer $^{\dagger}$ [^45] | ECCV'22 | F-B-3 | 16.64 | 32.03 | 22.85 | 31.58 | 32.52 | 34.41 | 31.55 | 31.12 | 31.35 | 32.16 | 18.14 |
| Ours (KeypointBEV) | - | E-B-1 | 16.64 | 30.54 | 21.08 | 31.49 | 29.50 | 33.88 | 29.86 | 27.43 | 30.89 | 31.02 | 5.88 |
GT
GT
(a) Normal light scenarios.
(b) Low-light scenarios.
(c) Fast-motion scenarios.
(d) Static hand-pose scenarios.
Fig. 6: Visualization of EgoEV-HandPose results in four representative scenarios. The examples highlight the model's ability to produce accurate and temporally consistent reconstructions in diverse illumination and kinematic scenarios.
特定场景下的鲁棒性：该框架对环境变化表现出显著的稳定性。无论是在HOMO还是HETER分布下，其性能对光照条件都相对不敏感；例如，在正常光照与低光照场景下的误差差距极小（在HETER分布中分别为31.49毫米和29.50毫米）。此外，我们对手部交互复杂度的分析表明，该模型尤其擅长处理双手交互情况（在HETER分布中误差为29.86毫米）。即便存在相互遮挡现象（Mut.）——这对事件相机而言由于信号重叠密度高而极具挑战性——我们的方法仍能实现可靠的定位（在HOMO分布中误差为22.13毫米，在HETER分布中误差为31.02毫米）。这种一致性验证了该框架在各类复杂场景下捕捉手部运动几何特征的有效性。
定性可视化分析：作为定量指标的补充，各种复杂场景下的定性可视化结果进一步证实了EgoEV-HandPose的鲁棒性与实用价值（见图6）。首先，在正常光照场景下，该框架通过利用手部边界处的清晰事件触发信号来实现精确的关节定位。其次，在RGB传感器通常无法工作的极低光照环境中，我们的模型利用事件数据的高动态范围特性来捕捉在强度域中不可见的手部结构。此外，该框架能够有效平衡运动性与稳定性：它在进行高速手势操作时能保持严格的时间一致性，同时针对静态姿势能提供稳定且漂移率低的估计结果。这些结果证明，EgoEV-HandPose本质上能够理解不同操作条件下的三维手部几何形状，而并非仅仅拟合数据集中的模式。
总体而言，表II中的综合结果证实，EgoEV-HandPose为基于立体事件相机的中心视角三维手部姿态估计与手势识别确立了新标准。值得注意的是，该框架的参数规模仅为8.44M，计算量仅为19.86G FLOPs，推理速度可达13.6 FPS。凭借高精度与高效率，该框架为增强现实、虚拟现实、人机交互以及移动机器人领域提供了极具吸引力的解决方案。
### D. 与现有最先进方法的比较
为了评估所提出框架的有效性，我们将其与几种具有代表性的基准方法进行了全面比较。这些方法包括HandMvNet [^13]——一种先进的基于立体RGB的方法；Ev2Hands [^12]，
---
(a) HandMvNet (Case 1)
(c) Ev2Hands (Case 1)
(b) HandMvNet (Case 2)
(d) Ev2Hands (Case 2)
(e) EvHandPose (Case 1)
(f) EvHandPose (Case 2)
(g) EvHandPose (Case 1)
(h) EvHandPose (Case 2)
(i) Ours (Case 1)
(j) Ours (Case 2)
Fig. 7: Qualitative comparison between our method and state-of-the-art baselines. The zoomed-in view on the left hand highlights the superiority of our method in localizing fine-grained finger joints, especially in challenging regions with occlusions and sparse observations.
它是唯一支持双手事件基估计的开源框架；EvHandPose [^11]代表了当前单手事件基估计的最先进解决方案；EventEgo3D [^9]是唯一开源的单目事件基方法，最初是为身体姿态估计设计的，我们将其适配用于手部姿态任务；以及BEV-Former [^45]，一种采用密集网格构建的重型多视图提升基准方法。为了公平比较，所有基准方法均在我们的EgoEVHands数据集上重新实现并微调。具体而言，HandMvNet通过将RGB帧累积成灰度图像来处理数据。Ev2Hands通过卷积将事件流下采样至目标分辨率，而EvHandPose由于最初是为单手估计设计的，因此仅使用右手标签进行训练和评估。值得注意的是，我们使用二维和三维关键点坐标对所有重新实现的基准方法进行监督，因为我们的框架不依赖MANO模型，省去了与MANO相关的先验知识或约束条件，以确保所有被评估方法能在一致且公平的实验环境下进行比较。
对最先进基准模型的定量分析：如表II各面板的上半部分所示，我们的框架在所有主要指标上均显著优于RGB及基于事件的基准模型。与基于RGB的HandMvNet相比，我们的方法在低光照场景下将MPJPE从82.43毫米降低至29.50毫米。这一巨大提升表明，具有更高时间分辨率的事件流更能应对以眼为中心的交互中常见的运动模糊和高动态范围挑战。我们的方法也显著优于基于事件的双手基准模型Ev2Hands（30.54毫米对比115.1毫米），并在MPJPE和PA-MPJPE两项指标上均超越EvHandPose和EventEgo3D。这种性能差距源于Ev2Hands和EvHandPose主要为第三人称视角设计，无法适应以眼为中心的视频流中的复杂自身运动；而EventEgo3D则受限于单目感知的深度歧义问题。这充分证明了我们采用的立体以眼为中心配置所具有的决定性优势。
模型效率：如表II右侧所示，我们的模型仅包含844万个参数和19.86 GFLOPs的计算量，具备极具竞争力的计算开销。这一数值相较于HandMvNet的8590万个参数而言大幅减少，但由于采用了立体双流处理机制，仍高于Ev2Hands的450万个参数。总体而言，模型复杂度的这一微小增加实为一种高效的权衡：立体视图的一致性提供了关键的几何先验，能够消除单目估计固有的深度歧义，从而以极小的架构开销实现精度的显著提升。这种精度与计算需求之间的平衡，对于功耗和计算资源受限的以眼为中心的人机交互场景而言至关重要。
2D到3D升维模块分析：为了进一步明确KeypointBEV模块的贡献，我们利用固定的2D骨干网络，针对不同升维策略进行了分析，结果如表II下半部分所示。EventEgo3D的升维模块为单目结构，存在固有的深度歧义问题，在HETER分布下的MPJPE高达51.27毫米。虽然BEVFormer的密集网格构建方式[^45]能提供高容量的表征，但其在不同身份和复杂运动模式下的泛化能力有限。相比之下，我们的KeypointBEV专为稀疏关键点估计的内在几何特性而设计，无需进行冗余的场景重建。通过聚焦关键的关节相关空间特征，我们的方法在密集基线模型难以提供可靠空间推理的HETER分布下仍能保持优异性能。此外，这种针对特定任务的设计效率更高，仅需19.86 GFLOPs——大约比BEVFormer低$19\times$——这表明KeypointBEV不仅在不同受试者身上更具鲁棒性，对于资源受限的以眼为中心设备而言也更为实用。
---
Fig. 8: Confusion matrix of gesture recognition on the Ego-EVHands dataset.
定性可视化分析：图7展示了我们的方法与基准模型在典型案例中的视觉对比。可视化结果表明，Ev2Hands和EvHandPose等单目基准模型在存在遮挡和深度歧义的区域经常表现不佳，而我们的方法能实现更精确的关节定位，尤其是在EvHandPose因单手设计而存在局限性的复杂双手场景中更是如此。
我们的方法之所以优越，源于其立体配置——通过立体几何约束和跨视图空间一致性来解决单目事件流中固有的深度歧义问题。这种几何基础在提出的EgoEV-HandPose框架中得到了进一步强化。该端到端框架配备了KeypointBEV立体事件融合模块，能够将融合后的特征映射到鸟瞰图空间，并采用迭代优化策略。此外，该框架还能应对以自我为中心的感知挑战：它解决了自遮挡、边界截断等近场效应问题，同时能将手部运动与头部引起的自身运动分离开来。这些因素共同促成了在以自我为中心的环境中可靠的双手法姿估计，而传统的三人视角方法在此类场景中表现欠佳。最终，该方法为基于事件的双手法姿估计树立了新标杆。
### E. 手势识别与混淆矩阵
我们利用精修后的2D坐标来评估手势识别性能。在HETER分布下，最终的Top-1准确率达到了86.87%。图8展示了38个动作类别的混淆矩阵。该矩阵表明，“手指交叉”“举手致意”这类复杂的手部交互类别能够被准确区分。这得益于KeypointBEV提供的高保真3D结构信息——相比粗糙的2D特征，它能更有效地捕捉细微的手指动作。
Evolution of 3D and 2D MPJPE Across Iterative Refinement Stages
Fig. 9: Evolution of 3D and 2D MPJPE across iterative refinement stages. Left axis: 3D-MPJPE (mm). Right axis: 2D-MPJPE (pixels) for left and right views. X-axis: four stages {Initialization, Iter0, Iter1, Iter2}. This figure summarizes how iterative refinement reduces 3D and 2D errors across stages and complements the numeric ablation results reported in the text.
Fig. 10: PCK curve on the full EgoEVHands test set. The fused model (solid blue) achieves AUC = 0.589, compared with the initial triangulation baseline (dashed orange) with AUC = 0.436, with thresholds = 50mm.
### F. 消融实验
为了明确各提出组件（尤其是KeypointBEV模块）的贡献，我们分析了从初始粗略阶段到最终迭代阶段的性能演变情况（见图9）。初始粗略阶段（热图+三角测量）产生的误差较大（MPJPE为52.72毫米），而最终优化后的输出（第2次迭代）取得了最佳的MPJPE值。通过应用基于重投影的视觉反馈，第一次迭代后MPJPE降低了26.1%，最终达到30.54毫米。这种逐步优化的过程在初始阶段和第0次迭代之间实现了最大的单步提升，充分证明了KeypointBEV模块所体现的立体融合策略的有效性，也验证了KeypointBEV能够解决简单几何三角测量难以处理的深度歧义问题。
图10进一步展示了整体的鲁棒性：融合后的
---
TABLE III: Ablation study on different fusion implementation on the EgoEVHands dataset. Heat. and Feat. denote heatmap and feature-based representations, respectively; I/E Params. refers to the explicit inclusion of camera intrinsics and extrinsics. The methods are categorized into Parameter-Modulated strategies (PM), Cross-view Matching (CM) without camera priors, and our proposed geometry-aware BEV fusion. M-3D refers to mean per joint position error (mm). Bold indicates the best performance.
| Method | Input | Implementation | M-3D $\downarrow$ |
| Baseline | 2D Coord. | Triangulation | 79.21 |
| Direct-3D | Heat. + I/E Params. | PM $\rightarrow$ Absolute 3D | 121.74 |
| Coarse-3D (H) | Heat. + I/E Params. | PM $\rightarrow$ Relative 3D | 112.62 |
| Coarse-3D (F) | Heat. + I/E Params. | PM $\rightarrow$ Relative 3D | 87.68 |
| Fine-2D | Heat. + I/E Params. | PM $\rightarrow$ 2D Residual | 53.49 |
| Fine-2D Cross-attn. | Feat. (Stereo) | CM (No Params.) | 42.98 |
| KeypointBEV | BEV Feat. | Geo-aware Fusion | 30.54 |
模型在所有阈值（0~50毫米）下的PCK AUC值达到了0.589，显著优于初始的三角测量基线（AUC为0.436）。这一结果证实，迭代优化能大幅减少大规模误差（异常值），尤其是在被遮挡的区域。
我们开展了广泛的消融实验，以验证KeypointBEV模块相较于几种替代融合策略的有效性，具体结果汇总于表III中。我们的分析首先探讨了输入模态的影响。Coarse-3D (H)（112.62毫米）与Coarse-3D (F)（87.68毫米）之间的对比表明，基于特征的表示方式明显优于基于热图的方式。这种性能差异源于高层特征图能够保留密集的语义上下文和潜在的空间相关性——而这些信息在基于事件的稀疏热图中大多会被丢弃——从而为后续的坐标回归提供更可靠的基础。然而，我们发现，在2D域内进行融合对中心视图下的深度估计存在固有局限。如表III所示，利用相机内参和外参来调节2D特征的方法（PM）仍然难以解决深度模糊问题。即便是能够在参数化指导下学习空间偏移量的Fine-2D变体（53.49毫米），也因缺乏显式的3D空间感知能力而受到限制。虽然引入交叉注意力机制（42.98毫米）能通过建立特征对应关系来提高精度，但它本质上依赖于统计匹配，无法纳入实现精确3D定位所需的严格几何约束。
相比之下，我们的KeypointBEV模块通过将2D特征显式映射到统一的鸟瞰图空间中，取得了最佳性能（30.54毫米）。与2D调制或纯匹配策略不同，KeypointBEV利用相机内参和外参来重建一致的3D几何环境。这种方法使网络能够在正确的空间域中通过迭代优化来解决深度模糊问题，从而展现出相较于其他融合架构的明显优势。
TABLE IV: Breakdown of computational complexity and parameter count per module. Note that for the EgoBlaze backbone, the FLOPs are doubled to account for the stereo dual-stream processing.
| Module | #Params (M) | FLOPs (G) |
| EgoBlaze | 1.40 | 11.02 $5.51 \times 2$ |
| KeypointBEV | 4.48 | 8.84 |
| Action Classifier | 2.56 | 0.003 |
| Total | 8.44 | 19.86 |
### G. 模型复杂度分析
为了评估EgoEV-HandPose在中心手部位感知应用中的实际可行性，我们在表IV中详细列出了其计算复杂度和参数分布情况。
各模块分解：该框架的整体参数规模仅为8.44百万个，计算量则为19.86十亿次浮点运算。尽管EgoBlaze共享主干网络的参数规模仅为1.40百万个，但它却占据了较大的计算负担（11.02十亿次浮点运算）。这是因为虽然权重在多个视角间共享以保持模型的紧凑性，但主干网络必须对称地处理来自左右传感器的异步事件流（我们的立体配置如此），导致计算量比单目设置高出一倍（$5.51 \times 2$）。负责迭代优化的KeypointBEV模块在参数数量上占比最大（4.48百万个），但其计算量仅为8.84十亿次浮点运算，在兼顾几何感知精度和处理速度方面取得了良好平衡。动作分类器被设计得极为轻量，计算开销可忽略不计（0.003十亿次浮点运算），却能充分利用经过优化的2D运动特征来实现手势识别。
部署适用性：凭借19.86十亿次浮点运算的整体复杂度，EgoEV-HandPose专为高频事件流处理而优化。与传统的高负载RGB主干网络相比，我们的模型凭借其对稀疏数据的适应性设计和参数效率，能够在资源受限的可穿戴设备（如AR/VR头戴设备）上实现低延迟性能，从而展现出在移动环境中实现无缝人机交互的巨大潜力。
### H. 在DHP19数据集上的跨架构泛化能力
为了进一步评估所提出的KeypointBEV模块的任务无关泛化能力和“即插即用”的多功能性，我们将评估范围从以自我为中心的手部感知拓展到人体姿态估计领域。为此，我们采用了DHP19数据集[^15]，该数据集是目前唯一公开的大规模基准测试集，提供了用于3D人体感知的同步多视角事件流。DHP19通过四个动态视觉传感器（DVS）采集数据，并借助Vicon动作捕捉系统提供亚毫米级的3D真实值，因此可作为在多摄像头场景下评估基于事件的重建算法几何鲁棒性的严格测试平台。
具体而言，我们将KeypointBEV模块集成到DEV-Pose [^14]的单目特征骨干网络中，该网络是当前在DHP19上表现最优的
---
Fig. 11: Qualitative comparison on the DHP19 dataset [^15]. Green: GT; Red: DEV-Pose [^14] baseline; Yellow: Ours (DEV-Pose + KeypointBEV). Our method delivers notably higher pose accuracy and better GT alignment.
框架。在这种配置下，我们的模块充当几何融合层，作用于学习到的时空特征，通过立体约束来解决深度不确定性问题。如表V所示，这种无缝集成带来了显著的性能提升：基线模型DEV-Pose（ResNet18）的MPJPE从55.53毫米降低至47.88毫米。这种13.8%的误差缩减是在无需针对特定任务调整架构的情况下实现的，它证明了我们的几何感知融合策略为解决基于事件的3D视觉系统中的空间歧义问题提供了一种基础且可迁移的解决方案（定性结果见图11）。
### I. 局限性
EgoEV-HandPose框架凭借立体摄像设置与对称的双臂双分支设计，在EgoEVHands基准测试中取得了最先进的性能。然而，这种用于双视图和双臂协作建模的复杂架构会带来19.86G FLOPs的计算开销。为了便于在功耗受限的超低功耗可穿戴设备上部署，可以通过模型压缩或量化技术来进一步减轻这一开销。
此外，由于这种对称的双臂结构主要针对双臂交互感知进行了优化，在纯单手场景中可能会引入轻微的冗余建模偏差，从而导致单手手势理解方面的轻微性能差距。未来的工作将探索动态结构门控策略，根据实际手部使用情况自适应地调整双分支建模范式，以便在多样化的手部交互模式下平衡单手识别性能与计算效率。除了模型压缩和量化之外，我们还计划引入基于跟踪的优化范式来进一步降低计算开销：我们不会为每一帧独立提取2D特征，而是仅为关键帧提取2D特征，并在后续的相邻帧中跟踪2D手部关键点。相应地，复杂的3D细化操作也不会逐帧执行；只有在必要时（例如手部运动剧烈或2D跟踪置信度较低时）才会激活该操作，从而在保持3D手部姿态估计高精度的同时减少冗余的重计算。
TABLE V: 3D human pose estimation on the public DHP19 dataset [^15]. The comparison results are taken from the work of DEV-Pose [^14].
| Method | 2D MPJPE (px) | 3D MPJPE (mm) |
| DHP19 [^15] | 7.67 | 87.90 |
| MobileHumanPose-S [^52] | 5.65 | 64.14 |
| Pose-ResNet18 [^53] | 5.37 | 61.03 |
| Pose-ResNet50 [^53] | 5.28 | 59.83 |
| PointNet [^54] | 7.29 | 82.46 |
| DGCNN [^55] | 6.83 | 77.32 |
| Point Transformer [^56] | 6.46 | 73.37 |
| VMV-PointTrans [^57] | 9.13 | 103.23 |
| VMST-Net [^58] | 6.45 | 73.07 |
| DEV-Pose (DHP19 backbone) [^14] | 6.27 | 71.01 |
| DEV-Pose (ResNet18) [^14] | 4.93 | 55.53 |
| Ours (DEV-Pose + KeypointBEV) | 4.79 | 47.88 |
### VI. 结论
在本文中，我们提出了EgoEV-HandPose——一种利用双目事件相机从自我中心视角进行3D手部姿态估计和手势识别的高效且稳健的框架。通过将研究重点从传统的基于帧的方法转向异步事件流，该方法有效克服了运动模糊和低动态范围带来的局限。该框架集成了共享的EgoBlaze模块，以抑制头戴式设备中固有的自身运动干扰；同时借助KeypointBEV融合引擎，通过鸟瞰图中的重投影引导迭代优化来解决深度歧义问题。基于腕部归一化的时序Transformer分类器能够同时实现精确的3D关键点定位与稳健的手势识别。这些技术创新确保了该系统即便在极端光照条件下仍能保持高精度和低延迟特性。
为了推动这一新兴领域的后续研究，我们推出了EgoEVHands数据集——首个针对密集3D手部姿态估计标注的大规模真实场景双目事件基准数据集。大量的实验评估表明，所提出的EgoEV-HandPose框架在各种交互场景中均能持续取得业界领先的性能表现。
展望未来，我们计划探索整合自监督学习方案的潜力，以减少对人工标注的依赖。此外，将我们的基于事件的感知流程集成到实时扩展现实系统和类人机器人平台中，仍是推动无缝人机交互发展的极具前景的方向。
## 参考文献
[^1]: K. Grauman et al., “Ego4D: Around the world in 3,000 hours of egocentric video,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 47, no. 11, pp. 9468–9509, 2025.
[^2]: S. Han et al., “MEgATrack: monochrome egocentric articulated hand-tracking for virtual reality,” ACM Transactions on Graphics, vol. 39, no. 4, pp. 87–1, 2020.
[^3]: Y. Zhang, C. Cao, J. Cheng, and H. Lu, "EgoGesture: A new dataset and benchmark for egocentric hand gesture recognition," IEEE Transactions on Multimedia, vol. 20, no. 5, pp. 1038–1050, 2018.
[^4]: F. Sener et al., “Assembly101: A large-scale multi-view video dataset for understanding procedural activities,” in Proc. CVPR, 2022, pp. 21064–21074.
## [^5]: G. Garcia-Hernando, S. Yuan, S. Baek, and T.-K. Kim, "First-person hand action benchmark with RGB-D videos and 3D hand pose annotations," in Proc. CVPR, 2018, pp. 409–419
---
[^6]: Y. Chi, J. Gu, J. Zhang, W. Yang, and Y. Tian, “Egovsr: Towards high-quality egocentric video super-resolution,” arXiv preprint arXiv:2305.14708, 2023.
[^7]: G. Gallego et al., “Event-based vision: A survey,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 44, no. 1, pp. 154–180, 2022.
[^8]: R. Hara, W. Ikeda, M. Hatano, and M. Isogawa, “EventEgoHands: Event-based egocentric 3D hand mesh reconstruction,” in Proc. ICIP, 2025, pp. 1199–1204.
[^9]: C. Millerdurai, H. Akada, J. Wang, D. Luvizon, C. Theobalt, and V. Golyanik, “EventEgo3D: 3D human motion capture from egocentric event streams,” in Proc. CVPR, 2024, pp. 1186–1195.
[^10]: V. Rudnev et al., “EventHands: Real-time neural 3D hand pose estimation from an event stream,” in Proc. ICCV, 2021, pp. 12365–12375.
[^11]: J. Jiang, J. Li, B. Zhang, X. Deng, and B. Shi, "EvHandPose: Event-based 3D hand pose estimation with sparse supervision," IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 46, no. 9, pp. 6416–6430, 2024.
[^12]: C. Millerdurai et al., “3D pose estimation of two interacting hands from a monocular event camera,” in Proc. 3DV, 2024, pp. 291–301.
[^13]: M. A. Ali, N. Robertini, and D. Stricker, “HandMvNet: Real-time 3D hand pose estimation using multi-view cross-attention fusion,” in Proc. VISAPP, 2025, pp. 555–562.
[^14]: X. Yin et al., “Exploring event-based human pose estimation with 3D event representations,” Computer Vision and Image Understanding, vol. 249, p. 104189, 2024.
[^15]: E. Calabrese et al., “DHP19: Dynamic vision sensor 3D human pose dataset,” in Proc. CVPRW, 2019, pp. 1695–1704.
[^17]: D. Damen et al., “The EPIC-KITCHENS dataset: Collection, challenges and baselines,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 43, no. 11, pp. 4125–4141, 2021.
[^16]: L. Wang, H. Shi, X. Yin, K. Yang, K. Wang, and J. Bai, “EgoEvGesture: Gesture recognition based on egocentric event camera,” in Proc. SMC, 2025, pp. 6606–6613.
[^18]: T. Kwon, B. Tekin, J. St"uhmer, F. Bogo, and M. Pollefeys, "H2O: Two hands manipulating objects for first person interaction recognition," in Proc. ICCV, 2021, pp. 10118–10128.
[^19]: Z. Fan et al., “ARCTIC: A dataset for dexterous bimanual hand-object manipulation,” in Proc. CVPR, 2023, pp. 12943–12954.
[^20]: Y. Liu et al., “HOI4D: A 4D egocentric dataset for category-level human-object interaction,” in Proc. CVPR, 2022, pp. 20981–20990.
[^22]: C. Plizzari et al., “E2(GO)MOTION: Motion augmented event stream for egocentric action recognition,” in Proc. CVPR, 2022, pp. 19903–19915.
[^21]: A. Amir et al., “A low power, fully event-based gesture recognition system,” in Proc. CVPR, 2017, pp. 7388–7397.
[^23]: W. Chen, S.-C. Liu, and J. Zhang, "EHoA: A benchmark for task-oriented hand-object action recognition via event vision," IEEE Transactions on Industrial Informatics, vol. 20, no. 8, pp. 10304–10313, 2024.
[^24]: P. Bhattacharyya et al., “Helios: An extremely low power event-based gesture recognition for always-on smart eyewear,” in Proc. ECCV, 2024, pp. 168–184.
[^25]: J. Jiang, X. Zhou, B. Wang, X. Deng, C. Xu, and B. Shi, “Complementing event streams and RGB frames for hand mesh reconstruction,” in Proc. CVPR, 2024, pp. 24944–24954.
[^26]: T. Ohkawa, K. He, F. Sener, T. Hodan, L. Tran, and C. Keskin, “AssemblyHands: Towards egocentric activity understanding via 3D hand pose estimation,” in Proc. CVPR, 2023, pp. 12999–13008.
[^27]: F. Lin and T. Martinez, “Ego2HandsPose: A dataset for egocentric two-hand 3D global pose estimation,” in Proc. WACV, 2024, pp. 4363–4371.
[^28]: C. Zimmermann and T. Brox, “Learning to estimate 3D hand pose from single RGB images,” in Proc. ICCV, 2017, pp. 4913–4921.
[^29]: B. Doosti, S. Naha, M. Mirbagheri, and D. J. Crandall, “HOPE-Net: A graph-based model for hand-object pose estimation,” in Proc. CVPR, 2020, pp. 6607–6616.
[^30]: J. Gan, L. Chen, P. Hu, J. Leng, W. Li, and X. Gao, “HandJoKe: Joint-guided keypoint denoising transformer for depth-based 3D hand pose estimation,” IEEE Transactions on Circuits and Systems for Video Technology, vol. 36, no. 1, pp. 861–873, 2026.
[^31]: J. Romero, D. Tzionas, and M. J. Black, “Embodied hands: modeling and capturing hands and bodies together,” ACM Transactions on Graphics (TOG), vol. 36, no. 6, pp. 1–17, 2017.
[^32]: G. Moon and K. M. Lee, “I2L-MeshNet: Image-to-lxl prediction network for accurate 3D human pose and mesh estimation from a single RGB image,” in Proc. ECCV, 2020, pp. 752–768.
[^33]: S. Baek, K. I. Kim, and T.-K. Kim, “Pushing the envelope for RGB-based dense 3D hand pose estimation via neural rendering,” in Proc. CVPR, 2019, pp. 1067–1076.
[^34]: G. Moon, S.-I. Yu, H. Wen, T. Shiratori, and K. M. Lee, “InterHand2.6M: A dataset and baseline for 3D interacting hand pose estimation from a single RGB image,” in Proc. ECCV, 2020, pp. 548–564.
[^35]: L. Ge et al., "3D hand shape and pose estimation from a single RGB image," in Proc. CVPR, 2019, pp. 10825–10834.
[^36]: S. Hampali, M. Rad, M. Oberweger, and V. Lepetit, "HOnnotate: A method for 3D annotation of hand and object poses," in Proc. CVPR, 2020, pp. 3193–3203.
[^37]: S. Guo, E. Rigall, Y. Ju, and J. Dong, “3D hand pose estimation from monocular RGB with feature interaction module,” IEEE Transactions on Circuits and Systems for Video Technology, vol. 32, no. 8, pp. 5293–5306, 2022.
[^38]: L. Yang et al., “POEM: Reconstructing hand in a point embedded multi-view stereo,” in Proc. CVPR, 2023, pp. 21108–21112.
[^39]: W. Mucha and M. Kampel, “In my perspective, in my hands: Accurate egocentric 2D hand pose and action recognition,” in Proc. FG, 2024, pp. 1–9.
[^40]: D. Zhao, H. Li, and S. Yan, “Spatial–temporal synchronous transformer for skeleton-based hand gesture recognition,” IEEE Transactions on Circuits and Systems for Video Technology, vol. 34, no. 3, pp. 1403–1412, 2023.
[^41]: J. Philion and S. Fidler, “Lift, splat, shoot: Encoding images from arbitrary camera rigs by implicitly unprojecting to 3D,” in Proc. ECCV, 2020, pp. 194–210.
[^42]: S. A. Ghasemzadeh, A. Alahi, and C. De Vleeschouwer, “MPL: Lifting 3D human pose from multi-view 2D poses,” in Proc. ECCV, 2024, pp. 36–52.
[^43]: X. Zhao, L. Yang, W. Huang, Q. Wang, X. Wang, and Y. Lou, "EV-TIFNet: lightweight binocular fusion network assisted by event camera time information for 3D human pose estimation," Journal of Real-Time Image Processing, vol. 21, no. 4, p. 150, 2024.
[^44]: K. Iskakov, E. Burkov, V. Lempitsky, and Y. Malkov, “Learnable triangulation of human pose,” in Proc. ICCV, 2019, pp. 7717–7726.
[^45]: Z. Li et al., “BEVFormer: Learning bird’s-eye-view representation from multi-camera images via spatiotemporal transformers,” in Proc. ECCV, 2022, pp. 1–18.
[^46]: J. Huang et al., “BEVDet: High-performance multi-camera 3D object detection in bird-eye-view,” in arXiv preprint arXiv:2112.11790, 2021.
[^47]: C. Yang, A. Tkach, S. Hampali, L. Zhang, E. J. Crowley, and C. Keskin, "EgoPoseFormer: A simple baseline for stereo egocentric 3D human pose estimation," in Proc. ECCV, 2024, pp. 401–417.
[^48]: J. Yang, J. Li, G. Li, H.-Y. Wu, Z. Shen, and Z. Fan, "MLPHand: Real time multi-view 3D hand reconstruction via MLP modeling," in Proc. ECCV, 2024, pp. 407–424.
[^49]: A. Krishan Kumar, A. Kaushal Kumar, and S. Guo, “Two viewpoints based real-time recognition for hand gestures,” IET Image Processing, vol. 14, no. 17, pp. 4606–4613, 2020.
[^50]: T. Ren et al., “Grounded SAM: Assembling open-world models for diverse visual tasks,” arXiv preprint arXiv:2401.14159, 2024.
[^51]: C. Lugaresi et al., “MediaPipe: A framework for building perception pipelines,” arXiv preprint arXiv:1906.08172, 2019.
[^52]: S. Choi, S. Choi, and C. Kim, “MobileHumanPose: Toward real-time 3D human pose estimation in mobile devices,” in Proc. CVPRW, 2021, pp. 2328–2338.
[^53]: B. Xiao, H. Wu, and Y. Wei, “Simple baselines for human pose estimation and tracking,” in Proc. ECCV, 2018, pp. 466–481.
[^54]: R. Q. Charles, H. Su, M. Kaichun, and L. J. Guibas, “PointNet: Deep learning on point sets for 3D classification and segmentation,” in Proc. CVPR, 2017, pp. 77–85.
[^55]: Y. Wang, Y. Sun, Z. Liu, S. E. Sarma, M. M. Bronstein, and J. M. Solomon, “Dynamic graph CNN for learning on point clouds,” ACM Transactions on Graphics (TOG), vol. 38, no. 5, pp. 1–12, 2019.
[^56]: H. Zhao, L. Jiang, J. Jia, P. Torr, and V. Koltun, “Point transformer,” in Proc. ICCV, 2021, pp. 16239–16248.
[^57]: B. Xie, Y. Deng, Z. Shao, H. Liu, and Y. Li, “VMV-GCN: Volumetric multi-view based graph CNN for event stream classification,” IEEE Robotics and Automation Letters, vol. 7, no. 2, pp. 1976–1983, 2022.
[^58]: D. Liu, T. Wang, and C. Sun, “Voxel-based multi-scale transformer network for event stream processing,” IEEE Transactions on Circuits and Systems for Video Technology, vol. 34, no. 4, pp. 2112–2124, 2024.