![Image](images/87779bf471217f2828d915afa73a0f99763105476e4c6bcc364a47dc161e0587.jpg) 研究论文 # EventEgoHands++：基于事件数据的以眼为中心的3D手部网格重建及真实数据集 原凉成 $^{1}$（IEEE研究生会员），池田航 $^{1}$（IEEE研究生会员），波多野雅志 $^{1}$（IEEE研究生会员），矶川真理子 $^{1,2}$ 以及矶川真理子 $^{ID1,2}$（IEEE会员） $^{1}$庆应义塾大学理工学部，日本神奈川县横滨市223-8522 $^{2}$日本科学技术振兴机构（JST）PRESTO项目，东京102-0076 通讯作者：原凉成 () 本研究部分得到了日本科学技术振兴机构（JST）前沿研究开发项目（PRESTO）JPMJPR22C1号资助，部分得到了日本学术振兴会（JSPS）科研费24K22296号和25H01159号资助，还有部分得到了JST颠覆性科学研究培育计划（FOREST）JPMJFR2421号资助。池田航的研究得到了日本JST“战略领域杰出青年研究人员与博士生培养计划”（BOOST）JPMJBS2409号的资助。波多野雅志的研究部分得到了日本JST BOOST计划JPMJBS2409号的资助，部分得到了天野技术研究所的资助。 ## 摘要 3D手部网格重建是一项极具挑战性但至关重要的任务，对于人机交互、AR/VR等下游应用具有重要意义。尽管传统相机（如RGB相机或深度相机）已被广泛用于该任务，但依赖这类相机的方法在低光照环境和严重运动模糊条件下表现不佳。为克服这些局限，基于事件的相机因其高动态范围和高时间分辨率而备受关注。然而，将事件相机应用于以眼为中心的手部重建仍面临挑战：因为佩戴相机者的运动会产生密集的背景事件，从而掩盖手部特有的信号。虽然首个基于事件的以眼为中心的方法通过手部分割缓解了这一问题，但其生成的二值化手部掩码无法区分左右手。因此，模型缺乏实例级的手部信息，即便只有一只手或没有手存在时也会预测出两只手。这一局限导致了错误的手间关系，进而降低了重建精度。在本文中，我们提出了EventEgoHands++，这是一种从以眼为中心视角进行基于事件的3D手部网格重建的框架，可克服上述局限。该方法包含了一个手部检测器，能够估算出左右手的实例级边界框和掩码。此外，我们引入了自适应注意力机制，可根据这些检测结果动态调整注意力权重，从而准确学习手部之间的空间关系与相互作用。为了训练和评估我们的框架，我们对合成数据集N-HOT3D进行了扩展，添加了边界框标注和精细化掩码；同时我们新构建了EEH-R数据集，这是迄今为止规模最大的真实世界基于事件的以眼为中心手部数据集，包含约100万帧标注帧，采集环境涵盖了低光照条件。在合成数据集和真实数据集上的大量实验表明，我们的方法始终优于基线方法。我们的代码和数据集可在获取。 关键词：以眼为中心的视觉、基于事件的视觉、3D手部网格重建、3D手部姿态估计。 负责协调本文审稿并批准其发表的副编辑是陈沐延。 ### I. 引言 手在人类与物理世界的互动中发挥着至关重要的作用。例如，抓取物体、操作工具以及做出手势等日常活动都严重依赖手部动作。因此，从以自我为中心的视觉中重建3D手部网格对于人机交互、AR/VR及机器人等领域具有重要意义。 --- 从佩戴摄像头者的视角捕捉精细的手部动作和形状，对于实现沉浸式体验和安全的互动至关重要。 然而，基于RGB(D)摄像头的传统方法[^1]、[^2]、[^3]、[^4]、[^5]、[^6]在应用于以自我为中心的视觉场景时可能会面临诸多挑战。例如，除了快速的手部运动外，摄像头佩戴者的头部运动还会造成运动模糊。此外，在光照条件多变的环境中，尤其是在低光环境下，识别手部会变得十分困难。 近年来，基于事件的摄像头（以下简称事件摄像头）越来越受到关注[^7]。事件摄像头具备高时间分辨率和宽动态范围，即便在RGB摄像头难以胜任的低光环境中也能捕捉快速运动。它们还具有低功耗和高效的内存利用特点，因此非常适合部署在边缘设备和可穿戴平台上。 不过，目前大多数现有的基于事件的3D手部网格重建方法[^8]、[^9]、[^10]、[^11]主要针对固定的第三人称摄像头场景。相比之下，以自我为中心的视角在捕捉自然手部互动时具有更高的灵活性和可移动性，如图1所示。在第一人称场景下使用事件摄像头的主要挑战在于：摄像头运动会在整个背景中产生大量事件，从而难以提取出与手部运动相关的事件。在我们早前的会议论文中，我们提出了EventEgoHands[^12]，这是首个用于以自我为中心的事件驱动手部重建的框架；该框架通过手部分割模块抑制此类背景事件，从而证明了该任务的可行性。 不过，EventEgoHands只能算作第一步，因为它仍未解决三个根本性问题。 缺乏实例级别的手部身份信息。[^12]中的二值掩码并未编码左右手的区别，因此无论实际可见的是哪只手，模型总会重建两只手，而这在以自我为中心的视频中经常会出现手部离开视野的情况。当只有一只手或没有手可见时，就会产生无效的输出，同时也会降低估计出的双手相对位置的准确性。 交互建模无法感知可见性变化。其交叉注意力机制会在两个手部分支之间无条件地应用，这就迫使模型与不存在或被错误识别的手部进行特征交换。这种固定的注意力路径无法适应以自我为中心的交互中手部可见性不断变化的特点。 其实际应用性尚未得到验证。该方法的验证仅限于合成数据，而真实事件流在事件密度、时间分布和传感器噪声方面与模拟数据存在显著差异。由于当时不存在真实的以自我为中心的事件数据集，因此该方法的有效性 ![Image](images/a76d92bfbd9e0ebc0b980a7232c535efafcfad065dd0329a983e60e9ce65bba8.jpg)
FIGURE 1. Challenges of egocentric event-based cameras. While fixed third-person camera setups are limited to specific environments, egocentric viewpoints provide greater mobility and flexibility for capturing hand interactions. However, in egocentric event camera scenarios, the wearer's motion generates numerous background events, which can obscure hand-related signals and make accurate hand recognition difficult.
在真实传感器数据上的表现也未经证实。尤其是低光照条件下的性能——这正是研发事件相机的主要动机——从未在真实数据上进行过评估。 为解决这些问题，我们提出了EventEgoHands++，一个用于基于事件的以自我为中心的三维手部网格重建的鲁棒框架。我们提出的方法包含两个主要阶段：手部提取和手部重建。首先，为了解决无法区分左右手的问题，我们在手部提取阶段引入了手部检测器。该检测器能够同时估算实例级的边界框和掩码，从而确保仅在手部存在时才能准确对其进行定位和识别。其次，为解决固定注意力机制导致的性能下降问题，我们在手部重建阶段引入了自适应注意力机制。与现有方法无论可见性如何都应用交叉注意力不同，我们的自适应注意力会根据检测结果动态选择注意力操作。这使得模型能够通过适应各手的可见性，有效学习空间相关性和手之间的交互关系。 此外，为了推动该领域的研究，我们提供了两个数据集。具体而言，我们对[^12]中介绍的合成数据集N-HOT3D进行了扩展，添加了更精细的分割掩码和新增的边界框标注，使其标注帧数增至约48万帧。更重要的是，我们推出了EEH-R——一个在具有挑战性的以自我为中心的场景（包括低光照条件）下用真实事件相机采集的新建真实世界数据集。虽然基于事件的手部重建在真实事件数据上的研究仅在第三人称场景下开展过，但EEH-R首次实现了在以自我为中心的场景中对真实事件数据的评估。据我们所知，EEH-R是规模最大的基于事件的以自我为中心的真实手部数据集，包含 ---
TABLE 1. Comparison of event-based hand datasets. The asterisk indicates that the corresponding annotation is available for a subset of the frames.
TypeDatasetViewHandsSubs.Dur.Seq.#GTAnnotation
SyntheticEventHands (Synthetic) [^8]ThirdSingle-100 h-360MMANO
Ev2Hands-S [^10]ThirdBoth---28KMANO, Event seg.
N-HOT3D (Ours)EgoBoth94.4 h136480KMANO, Hand mask/bbox
RealEventHands (Real) [^8]ThirdSingle-12.6 s43572D keypoints
Ev2Hands-R [^10]ThirdBoth520.1 m870K3D keypoints
EvRealHands [^9]ThirdSingle1079 m102425KMANO
EEH-R (Ours)EgoBoth82.36 h851MMANO, (Hand mask/bbox)*
约100万标注帧。这两个数据集N-HOT3D和EEH-R的详细信息汇总于表1中。 利用这两个数据集，我们验证了EventEgoHands++的有效性。在合成的N-HOT3D数据集上，与现有最佳方法相比，我们的方法将平均MPJPE降低了21.82毫米（33.7%），MPVPE降低了20.57毫米（34.0%）。在EEH-R数据集上，MPJPE进一步降低了7.90毫米（18.8%），MPVPE降低了7.13毫米（18.1%）。 我们的技术贡献总结如下： - 我们提出了EventEgoHands++，一个鲁棒的基于事件的以自我为中心的三维手部网格重建框架，能够在剧烈的以自我为中心相机运动下明确处理手部可见性及左右手身份识别问题。 - 我们引入了两个关键的方法组件：手部检测器，可同时为左右手估算实例级边界框和掩码；以及自适应注意力机制，它能根据检测结果动态激活手间注意力，仅在相应手部可见时才建模空间关系。 • 我们新构建了EEH-R，这是首个且规模最大的基于真实世界事件的以自我为中心的手部数据集，包含约100万帧标注图像，这些图像分别在光线充足和弱光条件下采集。我们进一步对合成的N-HOT3D数据集进行了优化，添加了更精细的掩码和边界框标注，使其标注图像数量增至约48万帧。在这些数据集上的实验表明，EventEgoHands++相较于现有基准方法具有显著优势。 本文结构如下：第二节回顾了关于以自我为中心的手部分析、3D手部姿态估计以及基于事件的3D手部网格重建的相关研究；第三节介绍了所提出的EventEgoHands++框架，包括手部提取和手部重建两个阶段；第四节介绍了合成的N-HOT3D数据集和真实的EEH-R数据集；第五节阐述了实验设置，包括实现细节、基准方法和评估指标；第六节报告了实验结果，包括对两个数据集的评估、手部分割性能、消融研究以及失败案例分析；最后，第七节对全文进行总结。 ### 二、相关工作 ### A. 以自我为中心的视频中的手部 手部是人类与物理世界交互的主要界面，因此手部分析在以自我为中心的视觉研究中占据核心地位 [^13], [^14]。与外视角相比，以自我为中心的视频给手部分析带来了独特挑战，包括手部运动速度快、频繁被遮挡，以及由于佩戴者运动导致的外观变化大等问题。 早期以自我为中心的手部分析研究主要聚焦于手部定位和分割 [^15], [^16], [^17], [^18]。Bambach等人 [^19] 推出的EgoHands数据集为第一人称场景下的手部检测确立了基准。更近期以自我为中心的数据集则将这一研究方向拓展至3D手部姿态、形状以及手-物体交互理解领域，包括FPHA [^20]、H2O [^21]、ARCTIC [^22] 和HOT3D [^23]。这些数据集表明，手部是以自我为中心视觉中的关键研究对象，而准确的3D手部估计对于理解可穿戴设备视角下的自然交互至关重要。这种对以自我为中心的手部理解日益浓厚的兴趣，推动了3D手部姿态估计和网格重建领域的广泛研究。接下来的小节将回顾3D手部姿态估计和网格重建的通用方法。 ### B. 3D手部姿态估计 3D手部姿态估计的早期研究主要依赖深度传感器 [^1], [^2], [^3] 来捕捉手部的复杂几何结构。随着研究转向单目RGB输入，该领域逐渐统一使用参数化模型来提供解剖学先验。MANO模型 [^24] 已成为该领域的事实标准，它能以低维度的方式呈现解剖学上合理的手部形状和姿态。Boukhayma等人 [^4] 率先提出了首个可完全学习的数据管道，能够直接从单张图像中回归出MANO参数，随后研究者们又采用了2D热图 [^25]、迭代式2D对齐循环 [^26] 以及抗遮挡方法 [^27] 等技术。 另一方面，非参数化方法[^28]、[^29]、[^30]探索了利用图卷积网络（GCN）[^31]进行直接的顶点回归，这类方法已被广泛用于挖掘手部网格的固有图结构。THOR-Net[^32]进一步将其拓展至手-物体交互领域，其中涉及两只手和物体的姿态估计。 --- ![Image](images/7545387e2286d79b8372a41ef937078f62aed3e8099b0b18158ab183f11ecb19.jpg)
FIGURE 2. Architecture of EventEgoHands++. The pipeline consists of two primary stages: (1) Hand Extraction Stage, where a hand detector identifies and extracts hand regions from event data, and (2) Hand Reconstruction Stage, which utilizes a vision encoder for feature extraction and estimates 3D hand poses through Adaptive Attention based on the detection results.
最近，基于Transformer的架构，如METRO[^33]和Mesh Graphormer[^34]，通过建模顶点与关节间的全局交互且无需依赖固定的运动学树，创造了新的最佳性能基准。 不过，参数化方法因其对遮挡情况的鲁棒性以及保持有效手部拓扑的能力而仍备受青睐。近期，Pavlakos等人[^5]证明，借鉴人体姿态估计领域的成功经验[^35]、[^36]，通过基于视觉Transformer（ViT）[^37]骨干网络扩大模型容量，可显著提升参数化重建的性能。近期基于图像的3D手部姿态估计方法[^5]、[^6]在各类数据集上均达到了最先进的精度。多项研究[^38]、[^39]、[^40]进一步将研究拓展至融入时间信息的4D手部网格重建领域。 尽管单目3D手部网格重建技术已取得显著进展，但传统的基于相机的方法在低光照条件下以及因手部或相机快速运动产生的运动模糊情况下往往表现不佳。为此，本研究探讨了事件相机的应用——由于具备高动态范围和高时间分辨率，事件相机在此类极端场景下具有极强的鲁棒性。 ### C. 基于事件的3D手部网格重建 事件相机通过记录像素强度的变化来输出异步的事件流。近年来，得益于高动态范围和高时间分辨率，事件相机愈发受到青睐[^7]、[^41]、[^42]、[^43]、[^44]，能够有效应对低光照条件和运动模糊等挑战，而这些正是RGB相机或深度相机等传统传感器难以有效处理的难题。 在3D视觉领域，事件相机具有独特优势：它们能提供移动边缘近乎连续的轨迹，从而恢复出在基于帧的采集过程中通常会丢失的精确几何结构和运动线索。近期，事件相机已被应用于多项3D任务[^45]，包括3D几何重建[^46]、[^47]、[^48]、[^49]、非刚性重建[^50]、深度估计[^51]、[^52]、人体姿态估计[^53]、[^54]、[^55]、[^56]，以及3D手部跟踪[^57]。 3D手部网格重建是机器人、AR/VR等诸多应用的核心任务。一些研究[^58]、[^59]利用RGB数据与事件数据来互补不同模态的信息。尽管这些方法鲁棒性较强，但用于推理的硬件配置相对昂贵，在现实应用中并不现实。 多项研究[^8]、[^9]、[^10]、[^11]致力于在推理阶段仅利用事件相机来完成3D手部网格重建任务。虽然其他领域的重建方法往往侧重于针对特定任务的网络架构[^41]、[^46]，但基于事件的手部重建主要聚焦于适用于后续3D手部估计的事件表示方式。EventHands[^8]是一个专为快速手部运动重建设计的轻量级框架。它采用基于帧的2D表示方法，即局部归一化事件表面（LNES），该方法能够在短时间内保留相对时间信息与极性。Ev2Hands[^10]通过基于点云的方法来实现双手重建。它通过一种名为Event Cloud的点云表示来保留时间信息，从而有效利用原始事件数据。EvHandPose[^9]同样采用了LNES表示方法。此外，它还引入了基于形状流和边缘的运动表示，以有效减少运动歧义，并通过弱监督学习框架来解决标注数据稀疏的问题。最近，RPEP[^11]被提出作为一种预训练方法，该方法在训练过程中利用带标签的RGB图像和未标注的事件数据来提升3D手部姿态估计能力。它采用迭代模块从静态图像中生成逼真的伪事件，从而有效捕捉非刚性的手部动作，并减少对稀缺的事件类标注数据的需求。 --- 利用训练过程中的无标签事件数据来提升3D手部姿态估计的效果。该方法采用迭代模块从静态图像中生成逼真的伪事件，从而有效捕捉手部的非刚性运动，并减少对稀缺的事件标注数据的依赖。 这些基于事件的3D手部网格重建方法均局限于固定的第三人称相机视角。尽管已有大量关于利用传统相机从自我中心视角进行3D手部姿态估计的研究[^60]、[^61]、[^62]、[^63]、[^64]，但利用事件相机进行自我中心感知的研究相对较少。虽然自我中心视角比固定的第三人称设置更具灵活性与机动性，但它给事件相机带来了独有的挑战：佩戴者的运动会改变整个场景的亮度，并产生大量背景事件，从而掩盖与手部相关的信号。Event-EgoHands[^12]开创了自我中心方法的先河，它通过估算粗略的手部区域并过滤该区域内的事件来减轻自我中心背景噪声的影响。然而，它无法区分左右手，且无论实际是否存在某只手，都会持续预测出两只手，这限制了其实际应用价值。此外，其重建模块不加区分地应用交叉注意力机制，阻碍了手部之间相关性的有效学习。为解决这些问题，我们提出了EventEgoHands++，它引入了实例级检测与自适应注意力机制，以实现更稳健且灵活的重建。 ### III. 所提出的方法 我们提出了EventEgoHands++，这是一种仅依赖动态自中心场景中捕获的事件数据进行三维手部网格重建的方法。如图2所示，给定事件帧$I \in \mathbb{R}^{2 \times H \times W}$，EventEgoHands++能够重建双手的3D关节位置$J_l, J_r \in \mathbb{R}^{20 \times 3}$以及网格顶点位置$V_l, V_r \in \mathbb{R}^{778 \times 3}$。我们的方法包含两个主要阶段：1）手部提取阶段，该阶段采用手部检测器来估算左右手对应的边界框和掩码，从而提取出手部区域内的事件；2）手部重建阶段，该阶段通过应用自适应注意力机制，从提取出的手部事件中重建三维手部网格。这两个阶段分别在第III-A节和第III-B节中详细描述，第III-C节则介绍了损失函数。EventEgoHands++在训练过程中的整体工作流程总结在算法1中。 ### A. 手部提取阶段 手部检测器以事件帧$\boldsymbol{I} \in \mathbb{R}^{2 \times H \times W}$作为输入，预测实例级别的手部边界框$\boldsymbol{B} = \{\boldsymbol{b}_i\}_{i=1}^N$以及$\boldsymbol{b}_i = (x_i, y_i, w_i, h_i) \in \mathbb{R}^4$，其中$(x_i, y_i)$表示边界框的中心坐标，$(w_i, h_i)$表示边界框的宽度和高度。所有坐标均通过图像宽度和高度进行归一化处理。该模块还会预测手部区域掩码$\boldsymbol{M} \in \mathbb{R}^{N \times H \times W}$，其中N表示手部实例的数量。 ```pseudo // Algorithm 1: Training Procedure of EventEgoHands++ Require: Training set $\mathcal{D} = \{(I, J^{\mathrm{gt}}, V^{\mathrm{gt}}, \theta^{\mathrm{gt}}, \beta^{\mathrm{gt}})\}$, pre-trained Hand Detector $\mathcal{D}_{\mathrm{hand}}$, Hand Reconstructor $\mathcal{H}_{\phi}$, MANO model $\mathcal{M}$, loss weights $\lambda_{\gamma}$, $\lambda_{\delta}$, $\lambda_{\epsilon}$, $\lambda_{\zeta}$, learning rate $\eta$, number of epochs E Ensure: Optimized parameters $\phi$ of $\mathcal{H}_{\phi}$ 1: for $e = 1, \ldots, E$ do 2: for each minibatch in $\mathcal{D}$ do 3: // Hand Extraction Stage 4: $B, M, c, s \leftarrow \mathcal{D}_{\mathrm{hand}}(I)$ {c: hand-side labels (l/r), s: confidence scores} 5: Select $M_{l}$ and $M_{r}$ using hand-side labels c and confidence scores s 6: Determine validity indicators $m_{l}, m_{r} \in \{0, 1\}$ 7: $\mathcal{H}_{\mathrm{vis}} \leftarrow \{h \in \{l, r\} \mid m_{h} = 1\}$ 8: // Hand Reconstruction Stage 9: if $\mathcal{H}_{\mathrm{vis}} = \emptyset$ then ``` {条件3：未检测到手部} 10: 跳过该样本 11: 结束if语句 12: 对于$h \in \mathcal{H}_{\mathrm{vis}}$执行以下操作： 13: $I_{h} \leftarrow I \odot M_{h}$ 14: $F_{h} \leftarrow \mathrm{VisionEncoder}(I_{h})$ 15: 结束for循环 16: // 自适应注意力机制 17: 如果$m_{l} = 1$且$m_{r} = 1$成立，则 {条件1：检测到双手} 18: $\tilde{F}_{h} \leftarrow \mathrm{SelfAttn}_{h}(F_{h})$、$h \in \{l, r\}$ 19: $\tilde{F}_{l} \leftarrow \mathrm{CrossAttn}(\tilde{F}_{l}, \tilde{F}_{r})$ 20: $\tilde{F}_{r} \leftarrow \mathrm{CrossAttn}(\tilde{F}_{r}, \tilde{F}_{l})$ 21: 否则 22: {条件2：检测到单只手} 23: $F_{h} \leftarrow \mathrm{SelfAttn}_{h}(F_{h})$、$h \in \mathcal{H}_{\mathrm{vis}}$ 24: 结束if语句 25: // MANO解码器 26: 对于$h \in \mathcal{H}_{\mathrm{vis}}$执行以下操作： 27: $(\theta_{h}, \beta_{h}, t_{h}, R_{h}) \leftarrow \mathrm{Decoder}(\tilde{F}_{h})$ 28: $\tilde{J}_{h}, \tilde{V}_{h} \leftarrow \mathcal{M}(\theta_{h}, \beta_{h}, t_{h}, R_{h})$ 29: 结束for循环 30: // 训练目标 31: $\mathcal{L}_{\mathrm{hand}} \leftarrow \lambda_{\gamma} \mathcal{L}_{\mathrm{joints}} + \lambda_{\delta} \mathcal{L}_{\mathrm{interhand}} + \lambda_{\epsilon} \mathcal{L}_{\mathrm{vertices}} + \lambda_{\zeta} \mathcal{L}_{\mathrm{MANO}}$ 32: 使用AdamW优化器更新$\phi$，学习率为$\eta$ 33: 结束for循环 34: 结束for循环 35: 返回$\phi$ 我们采用实例分割框架而非仅基于掩码的估计方法[^12]，因为仅基于掩码的预测往往不够稳定。通过联合学习边界框和掩码，估计结果会更加可靠。预测得到的掩码M用于从事件帧I中仅提取手部区域内的事件，从而为每只手生成独立的掩码事件帧：$\mathbf{I}_l, \mathbf{I}_r \in \mathbb{R}^{2 \times H \times W}$。 --- ![Image](images/5906779d59fe5e7656576b1c782d455a3ec1beb667b5bce26e4ed3033fd202c6.jpg)
FIGURE 3. Adaptive Attention. When both hands are detected, self-attention first refines intra-hand features, followed by cross-attention to capture inter-hand dependencies. When only one hand is detected, cross-attention is skipped and only self-attention is applied.
我们采用LNES[^8]——一种事件帧表示方法——来从原始事件数据生成I，因为LNES通过时间加权机制能够有效保留时间信息。我们选用YOLO26[^65]作为手部检测器，该模型属于应用广泛的YOLO系列中最新的手部检测模型[^6]、[^66]，用于同时估算边界框和分割掩码。 ### B. 手部重建阶段 手部重建阶段利用来自手部提取阶段的过滤后的事件帧$\boldsymbol{I}_l, \boldsymbol{I}_r \in \mathbb{R}^{2 \times H \times W}$，估算每只手的3D关节位置$\boldsymbol{J}_l, \boldsymbol{J}_r \in \mathbb{R}^{20 \times 3}$以及网格顶点位置$\boldsymbol{V}_l, \boldsymbol{V}_r \in \mathbb{R}^{778 \times 3}$。 ## 1) 特征提取 给定左右手的掩码事件帧，一个共享的骨干网络会提取空间特征图$F_l$和$F_r$，每张特征图的尺寸均为$C \times H' \times W'$，其中C表示通道维度，而$H'$、$W'$则分别表示特征图的空间分辨率。作为视觉编码器，我们采用了EfficientNetV2-S [^67]，该模型在各类手部姿态估计架构中均展现出了优异的性能[^61]、[^63]、[^68]。 ## 2）自适应注意力机制 为了动态处理每只手存在或缺失的情况，我们引入了自适应注意力机制，它会根据检测结果来选择相应的注意力操作。设$m_l, m_r \in \{0, 1\}$表示来自手部提取阶段的左右手有效性指示符，其中$m_h = 1$表明对应的手已被检测到（例如，若$h = l$和$m_l = 1$成立，则说明检测到了左手）。我们从三种手部检测情况来描述自适应注意力机制的行为：（1）两只手均被检测到；（2）仅检测到一只手；（3）未检测到任何手。 情况1：两只手均被检测到$(m_{l}=1, m_{r}=1)$。首先通过自注意力机制分别对每个特征图进行细化，以建模手内部的空间关系；随后两个特征图通过双向交叉注意力机制相互作用，从而捕捉手与手之间的依赖关系： $$ \bar{F}_{h}=\operatorname{S e l f A t t n}_{h}(F_{h}),\quad h\in\{l,r\}, $$ $$ \begin{array}{r}{\hat{F}_{l}=\mathrm{C r o s s A t t n}(\bar{F}_{l},\bar{F}_{r}),}\end{array} $$ $$ \begin{array}{r}{\hat{F}_{r}=\mathrm{C r o s s A t t n}(\bar{F}_{r},\bar{F}_{l}).}\end{array} $$ 自注意力层（1）首先让每个空间位置能够关注同一手特征图内的所有其他位置，从而对每只手的特征图进行细化。在随后的交叉注意力层（2）和（3）中，一只手的特征图作为查询向量，另一只手的特征图则提供键向量和值向量，从而实现双向信息交换。这种方式使得模型能够在已细化的单手表征基础上，捕捉手与手之间的上下文信息，比如相对位置以及手指的协调动作。 情况2：仅检测到一只手$(m_{l}+m_{r}=1)$。由于另一手的特征图不可用，因此禁用交叉注意力机制，仅对检测到的手应用自注意力机制： $$ \begin{array}{r}{\hat{F}_{h}=\mathrm{S e l f A t t n}_{h}(\boldsymbol{F}_{h}).}\end{array} $$ 情况3：未检测到任何手$(m_{l}=0, m_{r}=0)$。如果未检测到任何手，则跳过后续处理流程。 与在注意力操作内部对注意力分数施加掩码的掩码注意力机制不同，我们的自适应注意力机制会直接切换所使用的注意力操作。采用掩码注意力机制时，对未检测到手的所有标记位施加掩码会导致交叉注意力输出被破坏，进而损害已检测到的手的特征，而且掩码注意力的计算过程仍会执行。相比之下，我们的方法会完全跳过对未检测到手的处理，仅通过自注意力机制独立处理检测到的手，这样既避免了特征损坏，也减少了不必要的计算开销。需要指出的是，自注意力和交叉注意力操作本身都是常规操作，自适应注意力机制的创新之处在于利用每只手的可见性作为显式的控制信号，来决定应应用哪种操作。 ## 3）MANO解码器 最后，通过注意力池化操作将每张细化后的空间特征图转换为特征向量，再由线性层将其映射到MANO [^24]参数空间。这些参数经MANO模型解码后，即可得到3D手部关节位置J和网格顶点V。MANO --- 每只手的参数包括姿态向量$\boldsymbol{\theta} \in \mathbb{R}^{45}$、形状向量$\boldsymbol{\beta} \in \mathbb{R}^{10}$、平移量$t \in \mathbb{R}^3$以及旋转量$\boldsymbol{R} \in \mathbb{R}^3$。利用MANO模型$\mathcal{M}$，我们可以分别为每只手获取稀疏的手部关节以及密集的手部网格顶点，即$\boldsymbol{J}, \boldsymbol{V} = \mathcal{M}(\boldsymbol{\theta}, \boldsymbol{\beta}, t, \boldsymbol{R})$。所得到的关节位置$\boldsymbol{J} \in \mathbb{R}^{20 \times 3}$代表了回归出的手部关节的3D坐标，而网格顶点$\boldsymbol{V} \in \mathbb{R}^{778 \times 3}$则对应手部表面的3D坐标。为简便起见，除非另有说明，否则我们对左右手的参数和输出使用相同的表示方式。 ### C. 训练目标 在训练模型时，我们采用了先前研究中所采用的损失函数[^10]、[^12]。 ## 1) 3D手部关节损失 用于评估估计出的3D手部关节精度的损失项定义如下。3D手部关节损失$\mathcal{L}_{joints}$由预测关节位置与真实关节位置之间的L1距离给出；而交互手部关节损失$\mathcal{L}_{interhand}$则是左右手预测关节位置与真实关节位置之间的相对偏移量的L2距离，用于衡量它们位置的一致性： $$ \mathcal{L}_{\mathrm{j o i n t s}}=\frac{1}{N_{J}}\sum_{i=1}^{N_{J}}\|\hat{J}_{i}-J_{i}\|_{1}, $$ $$ \mathcal{L}_{\mathrm{i n t e r h a n d}}=\frac{1}{N_{J}}\sum_{i=1}^{N_{J}}\|(\hat{\boldsymbol{J}}_{\mathrm{l e f t},i}-\hat{\boldsymbol{J}}_{\mathrm{r i g h t},i})-(\boldsymbol{J}_{\mathrm{l e f t},i}-\boldsymbol{J}_{\mathrm{r i g h t},i})\|_{2}, $$ 其中，$\hat{J}_{i}$和$J_{i}$分别表示第i个手部关节的预测3D坐标和真实3D坐标，$N_{J}$为手部关节的总数。 ## 2) 3D手部网格顶点损失 用于评估估计出的3D手部网格顶点精度的损失项定义如下。3D手部网格顶点损失$\mathcal{L}_{vertices}$由预测顶点位置与真实顶点位置之间的L1距离给出，旨在促进手部网格结构的精确重建： $$ \mathcal{L}_{\mathrm{v e r t i c e s}}=\frac{1}{N_{V}}\sum_{i=1}^{N_{V}}\|\hat{V}_{i}-V_{i}\|_{1}, $$ 其中，$\hat{V}_{i}$和$V_{i}$分别代表第i个手部网格顶点的预测3D坐标和真实3D坐标，$N_{V}$为顶点的总数。 ## 3) MANO损失 MANO损失用于量化预测的MANO姿态$\theta$与形状参数$\beta$与真实值之间的差异。该项促使模型生成准确的手部姿态和形状表示： $$ \mathcal{L}_{\mathrm{M A N O}}=\|\hat{\boldsymbol{\theta}}-\boldsymbol{\theta}\|_{2}+\|\hat{\boldsymbol{\beta}}-\boldsymbol{\beta}\|_{2}. $$ ## 4) 总体手部损失 这四个损失项线性组合后便构成了最终的训练目标$\mathcal{L}_{\text{hand}}$： $$ \begin{array}{r}{\mathcal{L}_{\mathrm{h a n d}}=\lambda_{\gamma}\mathcal{L}_{\mathrm{j o i n t s}}+\lambda_{\delta}\mathcal{L}_{\mathrm{i n t e r h a n d}}+\lambda_{\epsilon}\mathcal{L}_{\mathrm{v e r t i c e s}}+\lambda_{\zeta}\mathcal{L}_{\mathrm{M A N O}},}\end{array} $$ 其中，平衡超参数$\lambda_{\gamma},\lambda_{\delta},\lambda_{\epsilon}$和$\lambda_{\zeta}$分别对应$\mathcal{L}_{\mathrm{joints}}$、$\mathcal{L}_{\mathrm{interhand}}$、$\mathcal{L}_{\mathrm{vertices}}$以及$\mathcal{L}_{\mathrm{MANO}}$。 ### IV. 数据集收集 A. 合成数据集：N-HOT3D 训练我们的模型需要带有双手真实标注的、从 Egocentric 视角采集的事件数据。然而，现有数据集均无法提供此类带有标注的Egocentric事件数据。为解决这一难题，我们首先将事件模拟器v2e[^69]应用于HOT3D数据集[^23]，从而构建出合成事件数据集N-HOT3D。具体而言，我们使用了HOT3D中Aria眼镜数据的子集，该子集包含九名受试者。N-HOT3D中的样本数据如图4（顶部）所示。 在数据生成过程中，我们利用了MANO参数以及HOT3D提供的相机外部和内部参数。我们首先对视频进行畸变校正，随后通过模拟器将其转化为事件数据。输出事件的空间分辨率被设定为$346 \times 260$像素，这一数值与DAVIS346事件相机[^70]的分辨率相匹配，而该相机同样也被用于Ev2Hands项目[^10]。此外，我们还将所提供的3D网格真值标注投影到2D空间，以生成手部分割掩码真值。我们还会根据投影后的网格计算出边界框标注，以便用于检测模型的训练。N-HOT3D的标注质量取决于原始HOT3D标注的质量，因为我们直接采用了HOT3D提供的MANO参数和相机校准信息。已发布的HOT3D标注已经过人工视觉检查，确保了所有帧中的姿势质量达标。 N-HOT3D数据集按照受试者身份和采集序列进行分类。训练集和验证集虽然包含相同的受试者，但采集序列互不重叠，从而确保两个子集中没有重复的序列。具体而言，我们选取P0001、P0003、P0009、P0010、P0011、P0012和P0015作为训练及验证阶段的受试者，而评估集则由未见过的受试者P0002和P0014组成。N-HOT3D总共包含480,120帧数据，其中训练集为334,190帧，验证集为83,760帧，评估集为62,170帧。与我们此前会议论文中介绍的N-HOT3D初步版本[^12]相比，本工作在多个方面对数据集进行了扩展。首先，我们对所有帧进行了视觉检查，并为上一版中生成失败的帧重新创建了分割掩码；因此，数据集规模从上一版的447,704帧增加到了本工作的480,120帧。其次，我们新增了基于投影网格计算得到的边界框标注， --- ![Image](images/016382bd88cc4daf5afa0b1dcbc1428ac0f10f5b5f385a6c6ebd9cb6fba44f48.jpg)
FIGURE 4. Dataset samples. The top shows the synthetic dataset N-HOT3D, and the bottom shows the real-world dataset EEH-R.
![Image](images/7fa042772fda219e546bc5ea2aac11e58ddf7ddc3c5257ee403435867155c1cc.jpg)
FIGURE 5. Capture system setup. (a) Arrangement of OptiTrack cameras, (b) head-mounted DAVIS346 event camera, (c) objects from kitchen and workspace categories, (d) MoCap gloves (left) and plain fabric gloves worn over MoCap gloves (right).
这些标注除了用于分割任务外，还可用于检测训练。最后，上一版中并未明确说明数据划分方式，而本工作则清晰定义了相应的拆分规则。 ### B. 真实数据集：EEH-R 为了评估我们所提出方法在真实事件相机数据上的有效性，我们构建了一个真实世界数据集EEH-R。该数据集包含了8名受试者在光线充足和黑暗条件下进行的手物交互录像。总计提供了超过两小时的录像数据，共85个序列，包含1,019,716个真值标注。EEH-R的样本数据如图4（下方）所示。 ## 1) 采集系统设置 我们设计了一套采集系统，用于同时记录以自我为中心的事件流以及精确的手部/相机姿态真值。我们的系统概览如图5所示。对于
TABLE 2. EEH-R dataset statistics by scene and lighting condition.
SceneLighting#Sequences#Annotations
KitchenDark23287,566
KitchenWell-lit19238,340
WorkspaceDark20233,470
WorkspaceWell-lit23260,340
Total851,019,716
事件数据的采集，我们使用了DAVIS346相机[^70]，该相机既能提供异步事件数据，也能同步记录灰度图像。灰度图像的录制帧率为30 fps。 为了获取精确的局部手部姿态，我们采用了配备16个惯性测量单元（IMU）传感器的动作捕捉手套[^71]，这类传感器能够捕捉手指的细微动作，包括手指弯曲和手掌拱起。为了在事件数据中保留手部的自然外观，受试者会在动作捕捉手套外再戴上普通布质手套，这样既能隐藏传感器，又能保持与裸手相似的纹理特征。在全局定位方面，我们使用了由16台摄像机（6台PrimeX22型和10台PrimeX13型）组成的OptiTrack系统，该系统由Motive软件[^72]进行控制。事件摄像机的顶部会安装四个光学标记点，每只手套的背面也各安装四个光学标记点，从而实现对摄像机和手部位置的精确追踪。手部与摄像机的真实姿态数据以120帧/秒的速率进行记录。该动作捕捉系统的平均3D校准误差低于0.1972毫米，因此全局手部及摄像机位置的质量取决于这一校准误差。 ## 2) 场景 我们的数据集涵盖了两种光照条件和两类场景，共有八名受试者（6名男性，2名女性）参与录制。在光照条件方面，我们分别在光线充足（平均照度为457勒克斯）和黑暗（平均照度为3.5勒克斯）的环境下采集序列数据。在场景类别上，我们设计了厨房和工作室场景，以涵盖多样化的手物交互情况。厨房场景中包含碗、勺子、杯子、瓶子、砧板和刀具等日常物品，而工作室场景则包含笔记本、键盘、鼠标、笔和眼镜等物品。每个序列时长约为2分钟，期间受试者会自由地与这些物体互动。针对每种光照与场景的组合，我们都录制了多个序列。数据集的详细统计数据汇总于表2中。 ## 3) 标注 动作捕捉手套能在局部手套坐标系下提供每只手16个关节的位置信息（包括手腕以及每个手指的三个关节）。参照以往的手部姿态数据集构建流程[^73]、[^74]，我们通过将MANO手部模型与动作捕捉手套提供的关节位置进行拟合，从而得到MANO参数标注。 --- ![Image](images/44775eca5b9baaddc294d23387ea4cfaf8979465ac073b2d5c2c67b857cc69b8.jpg) ![Image](images/3e0e620e86d060cec6caa0b8c40d31ea168ab8e26062b25f9f1a2aa8464d292e.jpg)
FIGURE 6. Analysis of event characteristics in the synthetic and real-world datasets. (Top) Distribution of the number of events per frame (1/30 s). (Bottom) Temporal distribution of events within a frame (1/30 s).
除了3D标注外，我们还为部分场景构建了2D手部分割掩码。对于光线充足的场景，我们运用SAM3算法[^75]对灰度图像进行处理，自动生成真实的手部掩码，最终得到198,410帧标注数据。而对于光线较暗、灰度图像对比度不足的场景，我们手动为1,000帧事件图像标注了分割掩码。与原始的HOT3D数据集一样，EEH-R中的所有帧都经过了人工视觉检查，以剔除质量较差的姿态数据。 EEH-R数据集按照受试者身份划分为训练集、验证集和测试集。具体而言，P05、P07、P08和P09号受试者用于训练，P03和P04号受试者用于验证，P06和P10号受试者用于测试。EEH-R数据集共包含1,019,716帧图像，其中训练集有636,433帧，验证集有164,727帧，测试集有218,556帧。庆应义塾大学伦理委员会已批准EEH-R数据集的录制工作，批准号为2025-131。 ## 4) 合成数据与真实数据之间的域差异 与EEH-R相比，N-HOT3D涉及更多的肢体运动和头部动作，这会导致整个场景中出现剧烈的亮度变化。如图6顶部所示，N-HOT3D因此每帧产生的事件数量更多。图6底部展示了各帧时间窗口内事件的分布情况。真实数据中的事件在时间上几乎均匀分布，而N-HOT3D中的事件则集中在每帧起始阶段，这种非自然的时间分布是由于它们是由事件模拟器合成生成的。此外，EEH-R包含真实事件相机固有的传感器噪声。这两个数据集之间的视觉差异可以在图4所示的事件流中观察到。 ## 5）偏差与局限性 EEH-R是在受控实验室环境中采集的。将数据集扩展到真实场景是未来研究的一个有前景的方向。尽管基于IMU的传感手套能提供精确的基准真值，但它们不可避免地会改变手部的视觉外观。采用无标记动作捕捉系统可以实现裸手录制，进一步增加手部外观的多样性。 ### V. 实验 ### A. 实现细节 在训练和评估过程中，我们遵循N-HOT3D和EEH-R数据集官方的训练/验证/测试划分。输入的事件帧会进行中心裁剪，并调整分辨率至$H \times W = 224 \times 224$像素。所有实验均使用单张NVIDIA RTX 6000 Ada Generation GPU进行。 手部检测器是基于YOLO26框架[^65]及其训练和推理生态系统实现的。该模型从预训练的YOLO26权重初始化，并针对我们的任务进行微调。由于LNES包含两个通道，我们通过引入额外的空通道来调整网络，以匹配预期的输入格式。分割模型使用Adam优化器[^76]进行训练，学习率为$1.0 \times 10^{-3}$，共训练100个周期，批量大小为64。预测得到的分割掩码会使用大小为$7 \times 7$的卷积核进行单次迭代膨胀，以扩展手部区域。当同一只手（左手或右手）出现多个检测结果时，我们会选择置信度最高的那个。对于N-HOT3D，检测置信度阈值设为0.5；对于EEH-R，该阈值设为0.8。 在手部重建阶段，EfficientNetV2-S骨干网络生成的特征图通道维度为$C = 1280$，空间分辨率为$H' \times W' = 7 \times 7$像素。该骨干网络使用ImageNet-1K预训练权重初始化。模型采用AdamW优化器[^77]进行训练，学习率为$2.0 \times 10^{-5}$，共训练30个周期，批量大小为32。手部损失的总权重分别设为$\lambda_\gamma = 2.0$、$\lambda_\delta = 1.0$、$\lambda_\epsilon = 2.0$和$\lambda_\zeta = 1.0$。 ### B. 基线方法 为了展示我们的方法在基于事件的3D手部网格重建中的性能，我们将其与以下基线方法进行比较。EventHands [^8]是一种仅基于事件数据进行处理的帧级方法。由于它被视为第三人称视角下基于事件的手部重建的先进方法之一，我们将其作为基线。由于该方法 --- 每次仅能预测一只手，因此我们在N-HOT3D和EEH-R数据集上为左手和右手分别训练了两个不同的模型。 Ev2Hands [^10] 仅利用事件数据，并通过基于点云的表示方法提取特征。它是唯一一种能够同时预测两只手的方法。由于该方法需要标注为左手、右手或背景的事件数据，而N-HOT3D和EEH-R数据集中并未提供此类标签，因此我们首先在标注好的Ev2Hands-S [^10]数据集上训练模型，随后再在N-HOT3D和EEH-R数据集上进行微调。 EventEgoHands [^12]是首个用于中心视觉手型网格重建的方法。该方法仅通过掩码估计来识别手部区域，无需区分左右手。其重建阶段采用基于点云的技术，仅利用手部特征之间的交叉注意力来估算手型网格。由于该方法不区分左右手，因此无论是否真的存在两只手，它都会输出两个手型。 ### C. 评估指标 借鉴Ev2Hands [^10]的做法，我们采用了正确关键点百分比（PCK）以及阈值范围在0到100毫米（mm）内的PCK曲线下面积（AUC）。我们还使用相对AUC（R-AUC）和右根相对AUC（RR-AUC）来评估3D手型姿态估计的性能。R-AUC是根据相对于每只手腕部的关节位置计算得出的，因此能够衡量每只手3D关节位置的准确性；而RR-AUC则是将两只手的关节位置都相对于右手腕部来表示，从而评估两只手之间的相对3D结构。此外，我们还以毫米为单位报告平均关节位置误差（MPJPE）和平均顶点位置误差（MPVPE），这些是3D手型网格重建的标准指标。MPJPE和MPVPE都是在根据手腕关节位置对齐每只手之后计算得出的。对于上述所有指标，只有被手部检测器成功检测到的手才会纳入评估范围，未被检测到的手则不会参与关节和网格误差的汇总。手部检测器的性能本身则通过下述指标单独评估。 此外，为了评估手部检测器的性能，我们采用了不同交并比（IoU）阈值下的平均精度均值（mAP），即mAP@50和mAP@50–95。mAP@50表示IoU阈值为0.5时的mAP，而mAP@50–95则是在0.5到0.95的IoU阈值范围内以0.05为步长取平均值得到的。这些指标在实例分割和检测任务中被广泛应用，包括YOLO系列 [^65]。 ### VI. 实验结果 ### A. 在N-HOT3D数据集上的评估 ## 1) 定量评估 表3展示了在N-HOT3D数据集上的定量结果。我们的方法在所有指标上均显著优于现有方法。与最接近的基线方法相比
TABLE 3. Quantitative evaluation on N-HOT3D. We report the mean $\pm$ standard deviation over three runs with different random seeds. The best values are shown in bold.
R-AUC ( $\uparrow$)RR-AUC ( $\uparrow$)MPJPE [mm] ( $\downarrow$)MPVPE [mm] ( $\downarrow$)
EventHands [^8]0.253 $\pm$ 0.0090.190 $\pm$ 0.008105.62 $\pm$ 1.4097.29 $\pm$ 1.29
Ev2Hands [^10]0.236 $\pm$ 0.0010.209 $\pm$ 0.000112.56 $\pm$ 0.46107.00 $\pm$ 0.44
EventEgoHands [^12]0.417 $\pm$ 0.0040.261 $\pm$ 0.02164.83 $\pm$ 0.5660.53 $\pm$ 0.52
Ours0.661 $\pm$ 0.0040.528 $\pm$ 0.00343.01 $\pm$ 0.2739.96 $\pm$ 0.26
EventEgoHands，我们改进后的模型表现出更优的精度，将MPJPE和MPVPE分别降低了33.7%和34.0%。 ## 2) 定性评估 图7展示了在N-HOT3D数据集上的定性比较结果。与其他方法相比，我们的方法重建出的手部网格与真实值最为接近。EventHands独立估计每只手的状态，常常导致手部位置不一致，且无法捕捉两只手之间的空间关系。基于点云处理的Ev2Hands由于计算限制，对输入的事件点数量有所限制。在以自我为中心的场景中会生成大量事件，均匀采样会减少属于手部区域的事件数量，从而阻碍模型学习足够细致的手部形状表征，通常会导致几乎相同的手部姿态。EventEgoHands通过过滤手部区域改善了两只手之间的空间一致性，但重建出的手部姿态缺乏多样性，在不同场景下往往产生相似的姿态。 相比之下，所提出的方法能重建更精确的手部形状，更好地呈现手与手之间的关系以及精细的手指运动，比如指尖位置和手部旋转。值得注意的是，在仅能看到一只手的场景中，我们的方法能为可见的手预测准确的姿态，同时正确识别出另一只手不存在的情况。而现有方法往往会输出错误的姿态，或错误地预测出并不存在的第二只手，我们的框架在这类场景下仍能保持稳健性。这一改进得益于手部检测器和自适应注意力机制，它们能有效学习单手特征以及两只手之间的交互关系。 ### B. 在EEH-R数据集上的评估 ## 1) 定量评估 表4展示了在真实的EEHR数据集上的定量结果。我们的方法在所有评估指标上再次取得了最佳性能。与现有的最优方法相比，我们的方法将MPJPE降低了7.90毫米（18.8%），MPVPE降低了7.13毫米（18.1%）。这一提升幅度小于在合成数据集上观察到的数值。我们将这种差异归因于真实数据的特性：真实场景中相机通常离手更近，因此手部区域更大，检测难度相对较低。相比之下，合成的N-HOT3D数据集 --- ![Image](images/9c733379f1dbaf2cc6cd787b29ee98eae180c939e89bcd2109a0f21c30bf4ace.jpg)
FIGURE 7. Qualitative evaluation on N-HOT3D. We compared our method with EventHands [^8], Ev2Hands [^10] and EventEgoHands [^12]. RGB images were not used as input and are shown for reference only. In order from the top, the scenes show "pouring from a can", "picking up a can", "holding a pot", and "picking up a carton".
TABLE 4. Quantitative evaluation on EEH-R under different lighting conditions. All values are reported as mean $\pm$ standard deviation over three runs with different random seeds. The best values are shown in bold.
MethodLightingR-AUC ( $\uparrow$)RR-AUC ( $\uparrow$)MPJPE [mm] ( $\downarrow$)MPVPE [mm] ( $\downarrow$)
EventHands [^8]All0.583 $\pm$ 0.0040.287 $\pm$ 0.00442.08 $\pm$ 0.4439.29 $\pm$ 0.41
Well-lit0.591 $\pm$ 0.0050.298 $\pm$ 0.00641.38 $\pm$ 0.5938.56 $\pm$ 0.53
Dark0.576 $\pm$ 0.0030.278 $\pm$ 0.00442.71 $\pm$ 0.3539.95 $\pm$ 0.34
Ev2Hands [^10]All0.502 $\pm$ 0.0020.250 $\pm$ 0.00452.02 $\pm$ 0.5448.59 $\pm$ 0.48
Well-lit0.492 $\pm$ 0.0040.262 $\pm$ 0.00253.57 $\pm$ 0.8750.05 $\pm$ 0.80
Dark0.511 $\pm$ 0.0050.239 $\pm$ 0.00650.64 $\pm$ 0.6947.29 $\pm$ 0.61
EventEgoHands [^12]All0.478 $\pm$ 0.0080.324 $\pm$ 0.01256.59 $\pm$ 1.6952.94 $\pm$ 1.64
Well-lit0.481 $\pm$ 0.0030.340 $\pm$ 0.00556.27 $\pm$ 1.1352.65 $\pm$ 1.05
Dark0.475 $\pm$ 0.0180.310 $\pm$ 0.02256.95 $\pm$ 3.3553.27 $\pm$ 3.12
OursAll0.691 $\pm$ 0.0030.551 $\pm$ 0.00534.18 $\pm$ 0.2232.16 $\pm$ 0.23
Well-lit0.693 $\pm$ 0.0030.606 $\pm$ 0.00632.68 $\pm$ 0.3030.68 $\pm$ 0.29
Dark0.689 $\pm$ 0.0030.476 $\pm$ 0.00535.57 $\pm$ 0.1833.53 $\pm$ 0.22
包含一些手部因交互距离较大且经过鱼眼畸变校正而显得更小的场景，这使得手部检测和重建更具挑战性。 另一个值得注意的现象是，第三人称基线方法EventHands和Ev2Hands在多个指标上的表现优于以自我为中心的前期工作EventEgoHands。我们将此归因于真实数据的特性：EEH-R中的所有序列都是在桌面任务中采集的，相机到手的距离较短且几乎恒定，手部占据画面的大部分区域，因此手部检测本身就更容易，表6中的mAP也印证了这一点。此外，如图6所示，EEH-R中每帧的事件数量少于N-HOT3D，因此每帧中与手相关的事件相对占主导地位，形成了更接近第三人称场景的环境，即只能观察到手部事件。另外，R-AUC、MPJPE和MPVPE是在手腕相对坐标下评估手部姿态误差，从图8可以看出，各基线方法间的局部手部姿态差异很小。相比之下，EventEgoHands在RR-AUC指标上超过了第三人称基线方法，该指标用于评估两只手之间的相对位置，这一优势在图8中也很明显。 --- ![Image](images/ea76c727879631f186210296e87b92c30899ad5777bbb2c5d213676e86b5415f.jpg)
FIGURE 8. Qualitative evaluation on EEH-R. We compared our method with EventHands [^8], Ev2Hands [^10] and EventEgoHands [^12]. Grayscale images were not used as input and are shown for reference only. The grayscale images at the bottom are actual captured images, which appear almost empty due to the low-light environment. In order from the top, the scenes show "typing on a keyboard", "holding a bottle", and "using a spoon".
TABLE 5. Comparison of inference speed (FPS) across methods. Values are reported as the mean $\pm$ standard deviation.
MethodSegmentationHandOverall
EventHands [^8]-415.88 $\pm$ 143.65415.88 $\pm$ 143.65
Ev2Hands [^10]-11.16 $\pm$ 0.9611.16 $\pm$ 0.96
EventEgoHands [^12]209.44 $\pm$ 39.2412.53 $\pm$ 0.5212.41 $\pm$ 0.35
Ours (Single Hand)149.94 $\pm$ 36.1862.46 $\pm$ 16.2745.42 $\pm$ 9.10
Ours (Both Hands)160.28 $\pm$ 35.9164.09 $\pm$ 12.8039.87 $\pm$ 6.63
如图8所示，各基线模型之间存在差异。相比之下，EventEgoHands在用于评估双手相对位置的RR-AUC指标上表现优于第三人称基线模型，这一优势在图8中同样有所体现。 ## 2) 定性评估 图8展示了EEH-R数据集上的定性结果。与定量结果一致，各方法之间的差异小于在合成数据集上观察到的差异。这是因为EEH-R由静态的桌面任务组成，受试者的动作比N-HOT3D更少。 尽管如此，现有方法仍表现出与在合成数据集上类似的局限性。它们往往无法准确捕捉双手之间的关系以及手部形状的细节。相比之下，我们的方法重建出的手部网格更接近真实值，且在不同场景中能生成更多样化的手部姿态。这些结果表明，所提出的方法在应用于真实的事件相机数据时依然有效，包括具有挑战性的低光照环境。 ## 3）运行时分析 表5展示了所提方法与基线方法的推理速度（单位：帧/秒），数据为100个样本的平均$\pm$标准差。EventHands的速度极快，但如表3和表4所示，其精度不足。Ev2Hands和EventEgoHands依赖基于点云的处理方式，其输入维度高于基于图像的处理方式，因此帧率较低，尤其是在手部网格重建方面。相比之下，所提方法在分割和手部网格重建两方面都很快，在整个流程中能达到实用的推理速度。此外，当仅检测到一只手时，推理速度会稍快一些，因为某些操作（如自适应注意力机制中的交叉注意力）会被跳过。 ### C. 手部分割性能 我们开展了实验以验证所提手部检测器的有效性。表6对比了N-HOT3D和EEH-R数据集上掩码分割方法的性能。定性分割结果如图9所示。 在N-HOT3D数据集上，手部检测器的表现显著优于U-Net，mAP@50从0.272提升至0.750，mAP@50–95从0.042提升至0.407。在手部仅占画面很小一部分的N-HOT3D数据集上精度的提升，表明与U-Net执行的简单掩码估计相比，联合学习边界框和掩码的实例分割方法更为有效。 ---
TABLE 6. Performance comparison of segmentation methods on synthetic and real datasets. All values are reported as mean $\pm$ standard deviation over three runs with different random seeds. The best values are shown in bold.
AllWell-litDark
DatasetMethodmAP@50 ( \uparrow )mAP@50-95 ( \uparrow )mAP@50 ( \uparrow )mAP@50-95 ( \uparrow )mAP@50 ( \uparrow )mAP@50-95 ( \uparrow )
N-HOT3DU-Net in EventEgoHands$0.272 \pm 0.025$$0.042 \pm 0.006$––––
Hand Detector$0.750 \pm 0.013$$0.407 \pm 0.012$––––
EEH-RU-Net in EventEgoHands$0.928 \pm 0.003$$0.655 \pm 0.002$$0.929 \pm 0.003$$0.656 \pm 0.002$$0.899 \pm 0.025$$0.527 \pm 0.021$
Hand Detector$0.901 \pm 0.003$$0.657 \pm 0.005$$0.901 \pm 0.003$$0.657 \pm 0.005$$0.887 \pm 0.095$$0.639 \pm 0.091$
![Image](images/598e0114f28348b379259ee693a48241d2e8a3c5db61ee054a87fca932d2b01a.jpg) 图像（参考） 事件帧 EventEgoHands 我们的方法
FIGURE 9. Hand segmentation results. The top two rows correspond to N-HOT3D and the bottom row corresponds to EEH-R. Since the segmentation produced by EventEgoHands is a binary classification, the mask region is shown in white, whereas our method uses different colors for the left and right hands.
在EEH-R数据集上，我们评估了不同光照条件下的性能。由于EEH-R每帧的事件数较少且手部在场景中更易于识别，其mAP值高于N-HOT3D数据集，且手部检测器在mAP@50指标上的表现略逊于U-Net。不过，在更严格评估掩码重叠程度的mAP@50–95指标上，手部检测器的表现优于U-Net，尤其在暗光条件下提升尤为明显。 ### D. 消融研究 我们开展消融研究，以评估各组件对所提框架的贡献。所有实验均在N-HOT3D数据集上进行。 ## 1）所提组件的影响 表7展示了移除手部检测器和自适应注意力机制后的结果。即便移除这两个组件，所提框架的性能仍优于现有方法。这表明能够同时建模两只手的基于帧的架构，比以往的单手或基于点云的方法更有效。注意
TABLE 7. Ablation study on the proposed components on N-HOT3D. All values are reported as mean $\pm$ standard deviation over three runs with different random seeds. The best values are shown in bold.
DetectorAttentionR-AUC ( $\uparrow$)RR-AUC ( $\uparrow$)MPJPE [mm] ( $\downarrow$)MPVPE [mm] ( $\downarrow$)
0.548 $\pm$ 0.0020.389 $\pm$ 0.00246.79 $\pm$ 0.2143.79 $\pm$ 0.19
✓0.553 $\pm$ 0.0020.394 $\pm$ 0.00247.15 $\pm$ 0.1943.78 $\pm$ 0.18
✓0.652 $\pm$ 0.0010.469 $\pm$ 0.00244.01 $\pm$ 0.0341.04 $\pm$ 0.03
✓✓0.661 $\pm$ 0.0040.528 $\pm$ 0.00343.01 $\pm$ 0.2739.96 $\pm$ 0.26
TABLE 8. Effect of introducing the Hand Detector to existing methods on N-HOT3D. All values are reported as mean $\pm$ standard deviation over three runs with different random seeds. underline indicates improvement within each method.
MethodR-AUC ( $\uparrow$)RR-AUC ( $\uparrow$)MPJPE [mm] ( $\downarrow$)MPVPE [mm] ( $\downarrow$)
EventHands [^8]0.253 $\pm$ 0.0090.190 $\pm$ 0.008105.62 $\pm$ 1.4097.29 $\pm$ 1.29
EventHands w/ Detector0.293 $\pm$ 0.0010.234 $\pm$ 0.007108.09 $\pm$ 4.7799.33 $\pm$ 4.31
Ev2Hands [^10]0.236 $\pm$ 0.0010.209 $\pm$ 0.000112.56 $\pm$ 0.46107.00 $\pm$ 0.44
Ev2Hands w/ Detector0.242 $\pm$ 0.0010.214 $\pm$ 0.001110.05 $\pm$ 0.07104.59 $\pm$ 0.06
EventEgoHands [^12]0.417 $\pm$ 0.0040.261 $\pm$ 0.02164.83 $\pm$ 0.5660.53 $\pm$ 0.52
EventEgoHands w/ Detector0.437 $\pm$ 0.0130.277 $\pm$ 0.01268.64 $\pm$ 4.6563.86 $\pm$ 4.33
如果没有手部检测器，就无法定位或分离两只手，因此会始终将两只手视为存在（$m_{l}=m_{r}=1$），自适应注意力机制也会同时应用自注意力和交叉注意力。 若仅引入自适应注意力机制而不使用手部检测器，R-AUC会略有提升，而MPJPE则会略有下降。这表明当手部区域未被正确定位时，仅靠注意力机制是不够的；没有检测器的话，注意力机制就不得不处理整个画面，包括背景噪声，而非专注于实际的手部实例。 相比之下，引入手部检测器后各项指标的性能均有所提升，再将其与自适应注意力机制结合则能取得进一步改善。尤其是自适应注意力在RR-AUC指标上的提升最为显著，该指标用于评估两只手之间的相对位置，其值从0.469提升至0.528（相对提升了12.6%）。这些结果表明两者存在互补的作用：手部检测器通过定位和识别每只手来保障整体精度，而自适应注意力则专门强化两手之间的相对定位。 ## 2）手部检测器的通用适用性 表8评估了将手部检测器集成到现有方法中的效果。在所有三种方法中，R-AUC和 ---
TABLE 9. Ablation study of loss components on N-HOT3D. The best values are shown in bold.
$\mathcal{L}_{MANO}$$\mathcal{L}_{interhand}$$\mathcal{L}_{joints}$$\mathcal{L}_{vertices}$R-AUC ( \uparrow )RR-AUC ( \uparrow )MPJPE [mm] ( \downarrow )MPVPE [mm] ( \downarrow )
✓0.0950.073153.64142.10
✓✓0.3110.23980.1274.00
✓✓✓0.6570.52143.5040.43
✓✓✓✓0.6610.52843.0139.96
TABLE 10. Comparison of Vision Encoders on N-HOT3D. The best values are shown in bold.
Vision EncoderParams [M]R-AUC ( \uparrow )RR-AUC ( \uparrow )MPJPE ( \downarrow )MPVPE ( \downarrow )
ResNet50 [^78]23.50.6530.51943.9840.94
ViT-B [^35]85.80.6100.47847.1444.06
EfficientNetV2-S [^67] (Ours)20.20.6610.52843.0139.96
TABLE 11. Comparison of Hand Detectors on N-HOT3D. The best values are shown in bold, and the second-best values are underlined.
DetectormAP@50 ( $\uparrow$)mAP@50-95 ( $\uparrow$)FPS
YOLO11 [^79]0.6990.375221.03
RF-DETR [^80]0.7690.39868.49
YOLO26 [^65] (Ours)0.7500.407209.54
RR-AUC指标在加入所提出的手部检测器后均持续改善。这些结果表明，从事件数据中提取手部区域通常具有益处，能够改善各类现有的手部重建方法。 ## 3）损失函数 表9展示了关于损失分量的消融研究。我们采用了Ev2Hands和EventEgoHands中使用的损失函数，这两种方法同样输出两只手。结果显示，组合所有损失分量时能取得最佳性能。 ## 4）视觉编码器 表10展示了关于视觉编码器的消融研究。我们将EfficientNetV2-S [^67]与参数数量相近、在视觉任务中广泛应用的ResNet50 [^78]，以及近期被诸多视觉任务采用的ViT-B [^35]进行了比较。结果证实，在手姿估计研究中常用的EfficientNetV2-S [^61]、[^63]、[^68]也非常适合我们的任务。随着视觉编码器的不断发展，未来采用更新的编码器有望让我们的框架受益。 ## 5）手部检测器 表11展示了关于手部检测器的消融研究。我们将采用的YOLO26与其之前的官方版本YOLO11，以及与YOLO搭配使用的Transformer类检测器RF-DETR进行了比较。尽管RF-DETR的mAP@50值更高，但如mAP@50–95和FPS所示，YOLO26在精度和速度方面是最均衡的模型。 ![Image](images/53d403bb40ad4f5edb04a2a1da1cbc0b29dd2a7db7c267a5b2934b68e4a7e710.jpg)
FIGURE 10. F1 score of the Hand Detector at IoU = 0.5 for varying confidence thresholds. (a) N-HOT3D (synthetic). (b) EEH-R (real).
TABLE 12. Ablation study of attention components on N-HOT3D. The best values are shown in bold.
SelfAttnCrossAttnR-AUC( $\uparrow$)RR-AUC( $\uparrow$)MPJPE [mm]( $\downarrow$)MPVPE [mm]( $\downarrow$)
0.6520.46944.0141.04
✓0.6570.51743.3740.34
✓0.6490.51843.9340.90
✓✓0.6610.52843.0139.96
TABLE 13. Comparison of dilation kernel sizes on N-HOT3D. The best values are shown in bold, and the second-best values are underlined.
MethodR-AUC ( $\uparrow$)RR-AUC ( $\uparrow$)MPJPE [mm] ( $\downarrow$)MPVPE [mm] ( $\downarrow$)
w/o dilation0.6360.46744.8441.71
kernel size 30.6590.50443.1640.12
kernel size 50.6670.52542.6039.58
kernel size 70.6610.52843.0139.96
kernel size 90.6440.52044.3041.16
## 6）检测阈值分析 图10展示了合成数据集和真实数据集在不同置信度阈值下IoU=0.5时的F1分数。在两类数据集上，F1分数在一定的阈值范围内都保持稳定，超过某个点后会急剧下降。由于误检会将不存在的手部引入后续的重建阶段，因此我们根据经验选择了一个不会大幅降低F1分数的较高阈值：合成数据集为0.5，真实数据集为0.8。 ## 7）自适应注意力机制 表12展示了关于自适应注意力机制中注意力组件的消融研究。自注意力主要提升了手腕相对姿态的精度，而交叉注意力通过双手间的信息交换，提高了用于评估双手相对位置的RR-AUC指标。将两者结合能在所有指标上取得最佳性能。 ## 8）掩码膨胀核尺寸 表13展示了关于手部检测器所生成掩码的膨胀核尺寸的消融研究。当核尺寸为$5 \times 5$或$7 \times 7$时，手部网格重建性能最优。对掩码进行膨胀可以弥补分割结果不完整或部分缺失的问题；但过大的核尺寸会包含更多非手部区域，这说明膨胀带来的益处存在限度。 ---
TABLE 14. Cross-dataset evaluation. The best values are shown in bold.
TrainFinetuneTestR-AUC ( $\uparrow$)RR-AUC ( $\uparrow$)MPJPE [mm] ( $\downarrow$)MPVPE [mm] ( $\downarrow$)
EEH-R-EEH-R0.6910.55134.18432.163
N-HOT3D-EEH-R0.0790.038137.229126.446
N-HOT3DEEH-REEH-R0.6950.55734.17232.207
TABLE 15. Cross-illumination evaluation of the Hand Detector on EEH-R. Each model is trained and tested under different illumination conditions. The best values for each test condition are shown in bold.
TrainTestmAP@50 ( $\uparrow$)mAP@50-95 ( $\uparrow$)
Well-litWell-lit0.9350.679
DarkWell-lit0.4250.201
AllWell-lit0.9010.657
Well-litDark0.7490.366
DarkDark0.7920.548
AllDark0.8870.639
Well-litAll0.9340.678
DarkAll0.4270.202
AllAll0.9280.655
我们选用$7 \times 7$作为核尺寸，因为它能实现最高的RR-AUC值；由于我们更重视双手正确相对位置的准确性。 ## 9）跨数据集评估 表14展示了跨数据集评估的定量结果。当模型在N-HOT3D数据集上训练并在EEH-R数据集上评估时，由于两个数据集间的域差异，性能会显著下降。不过，若在N-HOT3D上预训练的模型在EEH-R上微调，其精度会比仅在EEH-R上训练的模型略高。这一结果表明合成数据集在预训练方面的潜力。 ## 10）暗场景标注对手部检测器的影响 由于人工标注的暗场景掩码数量远少于自动生成的亮场景掩码，我们分析了暗场景监督数据量对手部检测器在EEH-R数据集上性能的影响。表15对比了分别在两种光照条件下训练的模型：仅在暗场景下训练的模型在暗环境下的表现比同时包含两种光照条件训练的模型更差，其在亮环境下的性能也大幅下降。这表明将自动生成的亮场景标注与人工标注的暗场景标注相结合是一种有效的监督策略。 我们进一步分析了所需的暗场景标注数量。我们在训练集中使用全部亮场景标注，同时调整暗场景标注的比例从0%到100%，分别在亮环境和暗环境下评估模型性能。如图11所示，无论暗场景数据比例如何，亮环境下的两项指标性能几乎保持不变。而在暗环境下， ![Image](images/00ebe3af1ea12b769bc9fe6ee6fe865fc33f76bac1fd6944091e91abee24f979.jpg)
FIGURE 11. Effect of the dark-scene data ratio on the performance of the Hand Detector on EEH-R. All well-lit annotations are used, while the ratio of dark-scene annotations in the training set is varied from 0% to 100%.
![Image](images/d4f83750d9670120cc7c908be0197e004e767093446a15c9833b0a7ff6024be2.jpg) ![Image](images/ab3c713f9bd06f222faea5662e014b33683c5b2271318785bd673a193ef24951.jpg) ![Image](images/f19d70ac26fddebd230d1ff73e48176da85150b3f1c04a05c003aeddbe6b54cc.jpg) ![Image](images/0e64dec0297b555ccc1786a726a9c8b884711cf83ab56f02d4cfb01589224ef6.jpg) ![Image](images/a4eb7124a204449ed6a2d9d282340b5a734a875ab9abc5a00d00b1b6830eab5d.jpg)
FIGURE 12. Failure cases of the proposed method. (a) Missed detection and inaccurate pose estimation under severe occlusion by a held object. (b) Missed detection due to sparse events when the hand remains nearly static. (c) Temporal jittering in the predicted trajectory due to frame-by-frame estimation without temporal modeling. Red and blue lines indicate the wrist trajectories of the left and right hands, respectively.
mAP@50–95指标会随着比例升高而提升，一旦比例达到暗训练集的约25%便趋于饱和。这表明只需在亮场景数据中加入少量人工标注的暗帧，就足以实现暗环境下的可靠检测。 ### E. 误差分析 如图12所示，我们总结了所提出方法的三种主要误差模式。 ## 1）遮挡 当手被物体遮挡时，手部检测器可能无法检测到它。即便手被成功检测到，要精准定位…… --- 当手指被物体遮挡时，重建这些被遮挡的部分仍然十分困难，如图12(a)所示。由于在日常活动中手部经常与周围物体相互作用，因此显式建模物体形状以及手-物接触关系是一个颇具前景的研究方向。尽管当前基于事件的方法主要关注手部区域，但对手-物交互的建模仍鲜有探讨。受基于RGB的方法启发[^27]、[^81]，为手部区域和物体区域分别采用不同的特征表示，是提高复杂交互场景下重建精度的有效途径。 ## 2）稀疏事件 由于事件相机仅对亮度变化作出响应，当手部与头部几乎保持静止时，产生的事件会变得稀疏。这种情况下可能无法检测到手部，如图12(b)所示。这种效应在低光照环境中更为明显，如表6中的mAP指标所示，其检测性能低于光照充足的条件。累积过往事件或引入时序处理机制有助于缓解这一问题。 ## 3）抖动现象 由于所提出的方法是逐帧处理的，重建出的手部网格在连续帧之间可能会出现时序抖动现象。如图12(c)中的手腕轨迹所示，预测出的运动轨迹不如真实轨迹平滑。需要注意的是，这种抖动并非基于事件的方法所特有：基于帧的RGB方法如HaMeR [^5]和WiLoR [^6]也会存在此类问题。利用事件流的时序特性并将框架拓展至4D手部网格重建，是未来重要的研究方向。近期的一些方法，例如HaPTIC [^38]，通过利用注意力机制融合多帧间的时序信息，直接估计帧间深度变化而非每帧的绝对深度，从而从单目视频中预测连贯的4D手部轨迹，为解决这一问题提供了有前景的策略。 ### 七、结论 在本文中，我们提出了EventEgoHands++，一个用于基于事件的中心视角3D手部网格重建的框架。为解决背景噪声问题以及现有方法无法区分手部的问题，我们引入了手部检测器，通过联合估计边界框和掩码来实现实例级手部检测。此外，为克服因固定注意力机制忽略手部可见性而导致的性能下降问题，我们还提出了自适应注意力机制，可根据检测到的手部存在情况动态调整注意力过程。另外，我们对合成N-HOT3D数据集进行了扩展，添加了更精细的掩码和新的边界框标注，并新构建了真实场景下的EEH-R数据集。在合成数据集和真实数据集上的实验表明，与现有方法相比，所提方法的重建性能有显著提升。我们希望本研究能推动基于事件的手部重建研究的发展，并为未来中心视角事件视觉系统的相关研究提供便利。 ## 参考文献 [^1]: L. Ge, H. Liang, J. Yuan, and D. Thalmann, “Robust 3D hand pose estimation in single depth images: From single-view CNN to multi-view CNNs,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2016, pp. 3593–3601. [^2]: C. Xu and L. Cheng, “Efficient hand pose estimation from a single depth image,” in Proc. IEEE Int. Conf. Comput. Vis., Dec. 2013, pp. 3456–3462. [^3]: L. Ge, H. Liang, J. Yuan, and D. Thalmann, "Real-time 3D hand pose estimation with 3D convolutional neural networks," IEEE Trans. Pattern Anal. Mach. Intell., vol. 41, no. 4, pp. 956–970, Apr. 2019. [^4]: A. Boukhayma, R. de Bem, and P. H. S. Torr, "3D hand shape and pose from images in the wild," in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2019, pp. 10835–10844. [^5]: G. Pavlakos, D. Shan, I. Radosavovic, A. Kanazawa, D. Fouhey, and J. Malik, “Reconstructing hands in 3D with transformers,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Mali, Jun. 2024, pp. 9826–9836. [^6]: R. Alexandros Potamias, J. Zhang, J. Deng, and S. Zafeiriou, "WiLoR: End-to-end 3D hand localization and reconstruction in-the-wild," in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2025, pp. 12242–12254. [^7]: G. Gallego, T. Delbrück, G. Orchard, C. Bartolozzi, B. Taba, A. Censi, S. Leutenegger, A. J. Davison, J. Conradt, K. Daniilidis, and D. Scaramuzza, “Event-based vision: A survey,” IEEE Trans. Pattern Anal. Mach. Intell., vol. 44, no. 1, pp. 154–180, Jan. 2022. [^8]: V. Rudnev, V. Golyanik, J. Wang, H.-P. Seidel, F. Mueller, M. Elgharib, and C. Theobalt, “EventHands: Real-time neural 3D hand pose estimation from an event stream,” in Proc. IEEE/CVF Int. Conf. Comput. Vis. (ICCV), Oct. 2021, pp. 12365–12375. [^9]: J. Jiang, J. Li, B. Zhang, X. Deng, and B. Shi, "EvHandPose: Event-based 3D hand pose estimation with sparse supervision," IEEE Trans. Pattern Anal. Mach. Intell., vol. 46, no. 9, pp. 6416–6430, Sep. 2024. [^10]: C. Millerdurai, D. Luvizon, V. Rudnev, A. Jonas, J. Wang, C. Theobalt, and V. Golyanik, "3D pose estimation of two interacting hands from a monocular event camera," in Proc. Int. Conf. 3D Vis. (3DV), Mar. 2024, pp. 291–301. [^11]: R. Liu, T. Ohkawa, T. Ho Elden Tse, M. Zhang, A. Yao, and Y. Sato, "Leveraging RGB images for pre-training of event-based hand pose estimation," 2025, arXiv:2509.16949. [^12]: R. Hara, W. Ikeda, M. Hatano, and M. Isogawa, “EventEgoHands: Event-based egocentric 3D hand mesh reconstruction,” in Proc. IEEE Int. Conf. Image Process. (ICIP), Sep. 2025, pp. 1199–1204. [^13]: A. Bandini and J. Zariffa, “Analysis of the hands in egocentric vision: A survey,” IEEE Trans. Pattern Anal. Mach. Intell., vol. 45, no. 6, pp. 6846–6866, Jun. 2023. [^14]: C. Plizzari, G. Goletto, A. Furnari, S. Bansal, F. Ragusa, G. Maria Farinella, D. Damen, and T. Tommasi, “An outlook into the future of egocentric vision,” Int. J. Comput. Vis., vol. 132, no. 11, pp. 4880–4936, Nov. 2024. [^15]: A. Fathi, X. Ren, and J. M. Rehg, “Learning to recognize objects in egocentric activities,” in Proc. CVPR, Jun. 2011, pp. 3281–3288. [^16]: S. Lee, S. Bambach, D. J. Crandall, J. M. Franchak, and C. Yu, “This hand is my hand: A probabilistic approach to hand disambiguation in egocentric video,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit. Workshops, Jun. 2014, pp. 557–564. [^17]: C. Li and K. M. Kitani, “Model recommendation with virtual probes for egocentric hand detection,” in Proc. IEEE Int. Conf. Comput. Vis., Dec. 2013, pp. 2624–2631. [^18]: C. Li and K. M. Kitani, “Pixel-level hand detection in ego-centric videos,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., Jun. 2013, pp. 3570–3577. ## [^19]: S. Bambach, S. Lee, D. J. Crandall, and C. Yu, “Lending a hand: Detecting hands and recognizing activities in complex egocentric interactions,” in Proc. IEEE Int. Conf. Comput. Vis. (ICCV), Dec. 2015, pp. 1949–1957 --- [^20]: G. Garcia-Hernando, S. Yuan, S. Baek, and T.-K. Kim, “First-person hand action benchmark with RGB-D videos and 3D hand pose annotations,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., Jun. 2018, pp. 409–419. [^21]: T. Kwon, B. Tekin, J. Stühmer, F. Bogo, and M. Pollefeys, “H2O: Two hands manipulating objects for first person interaction recognition,” in Proc. IEEE/CVF Int. Conf. Comput. Vis. (ICCV), Oct. 2021, pp. 10118–10128. [^22]: Z. Fan, O. Taheri, D. Tzionas, M. Kocabas, M. Kaufmann, M. J. Black, and O. Hilliges, “ARCTIC: A dataset for dexterous bimanual hand-object manipulation,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2023, pp. 12943–12954. [^23]: P. Banerjee, S. Shkodrani, P. Moulon, S. Hampali, S. Han, F. Zhang, L. Zhang, J. Fountain, E. Miller, S. Basol, R. Newcombe, R. Wang, J. J. Engel, and T. Hodan, "HOT3D: Hand and object tracking in 3D from egocentric multi-view videos," in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2025, pp. 7061–7071. [^24]: J. Romero, D. Tzionas, and M. J. Black, “Embodied hands: Modeling and capturing hands and bodies together,” ACM Trans. Graph., vol. 36, no. 6, pp. 1–17, Dec. 2017. [^25]: X. Zhang, Q. Li, H. Mo, W. Zhang, and W. Zheng, “End-to-end hand mesh recovery from a monocular RGB image,” in Proc. IEEE/CVF Int. Conf. Comput. Vis. (ICCV), Oct. 2019, pp. 2354–2364. [^26]: S. Baek, K. I. Kim, and T.-K. Kim, “Pushing the envelope for RGB-based dense 3D hand pose estimation via neural rendering,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2019, pp. 1067–1076. [^27]: J. Park, Y. Oh, G. Moon, H. Choi, and K. M. Lee, “HandOccNet: Occlusion-robust 3D hand mesh estimation network,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2022, pp. 1486–1495. [^28]: X. Chen, Y. Liu, Y. Dong, X. Zhang, C. Ma, Y. Xiong, Y. Zhang, and X. Guo, "MobRecon: Mobile-friendly hand mesh reconstruction from monocular image," in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2022, pp. 20512–20522. [^29]: D. Kulon, H. Wang, R. A. Güler, M. M. Bronstein, and S. Zafeiriou, “Single image 3D hand reconstruction with mesh convolutions,” in Proc. Brit. Mach. Vis. Conf. (BMVC), 2019, p. 45. [^30]: D. Kulon, R. A. Güler, I. Kokkinos, M. M. Bronstein, and S. Zafeiriou, “Weakly-supervised mesh-convolutional hand reconstruction in the wild,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2020, pp. 4989–4999. [^31]: T. N. Kipf and M. Welling, “Semi-supervised classification with graph convolutional networks,” in Proc. Int. Conf. Learn. Represent. (ICLR), 2017, pp. 1–14. [^32]: A. T. Aboukhadra, J. Malik, A. Elhayek, N. Robertini, and D. Stricker, "THOR-Net: End-to-end graformer-based realistic two hands and object reconstruction with self-supervision," in Proc. IEEE/CVF Winter Conf. Appl. Comput. Vis. (WACV), Mali, Jan. 2023, pp. 1001–1010. [^33]: K. Lin, L. Wang, and Z. Liu, “End-to-end human pose and mesh reconstruction with transformers,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2021, pp. 1954–1963. [^34]: K. Lin, L. Wang, and Z. Liu, "Mesh graphormer," in Proc. IEEE/CVF Int. Conf. Comput. Vis. (ICCV), Oct. 2021, pp. 12919–12928. [^35]: A. Dosovitskiy, L. Beyer, A. Kolesnikov, D. Weissenborn, X. Zhai, T. Unterthiner, M. Dehghani, M. Minderer, G. Heigold, S. Gelly, J. Uszkoreit, and N. Houlsby, “An image is worth $16 \times 16$ words: Transformers for image recognition at scale,” in Proc. Int. Conf. Learn. Represent. (ICLR), 2020, pp. 1–22. [^36]: Z. Cai, W. Yin, A. Zeng, C. Wei, Q. Sun, W. Yanjun, H. E. Pang, H. Mei, M. Zhang, L. Zhang, C. C. Loy, L. Yang, and Z. Liu, “SMPLer-X: Scaling up expressive human pose and shape estimation,” in Proc. Adv. Neural Inf. Process. Syst., vol. 36, 2023, pp. 11454–11468. [^37]: S. Goel, G. Pavlakos, J. Rajasegaran, A. Kanazawa, and J. Malik, “Humans in 4D: Reconstructing and tracking humans with transformers,” in Proc. IEEE/CVF Int. Conf. Comput. Vis. (ICCV), Oct. 2023, pp. 14737–14748. [^38]: Y. Ye, Y. Feng, O. Taheri, H. Feng, S. Tulsiani, and M. J. Black, “Predicting 4D hand trajectory from monocular videos,” in Proc. Int. Conf. 3D Vis. (3DV), Mar. 2026, pp. 860–870. [^39]: J. Zhang, J. Deng, C. Ma, and R. Alexandros Potamias, “HaWoR: World-space hand motion reconstruction from egocentric videos,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Cleveland, OH, USA, Jun. 2025, pp. 1805–1815. [^40]: Z. Yu, S. Zafeiriou, and T. Birdal, “Dyn-HaMR: Recovering 4D interacting hand motion from a dynamic camera,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2025, pp. 27716–27726. [^41]: Z. Xiao and X. Wang, “Event-based video super-resolution via state space models,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2025, pp. 12564–12574. [^42]: T. Yura, A. Mirzaei, and I. Gilitschenski, “EventSplat: 3D Gaussian splatting from moving event cameras for real-time rendering,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2025, pp. 26876–26886. [^43]: R. Maeda, Y. Moon, and S.-H. Baek, “Event ellipsometer: Event-based mueller-matrix video imaging,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2025, pp. 21804–21813. [^44]: C. Geckeler, N. Neugebauer, M. Muglikar, D. Scaramuzza, and S. Mintchev, “Event spectroscopy: Event-based multispectral and depth sensing using structured light,” IEEE Robot. Autom. Lett., vol. 11, no. 3, pp. 2658–2665, Mar. 2026. [^45]: A. Kar, V. Raj, and G.-M. Su, “Event camera guided visual media restoration & 3D reconstruction: A survey,” 2025, arXiv:2509.09971. [^46]: V. Rudnev, M. Elgharib, C. Theobalt, and V. Golyanik, “EventNeRF: Neural radiance fields from a single colour event camera,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2023, pp. 4992–5002. [^47]: T. Nakabayashi, N. Kairanda, H. Saito, and V. Golyanik, "Ev4DGS: Novel-view rendering of non-rigid objects from monocular event streams," in Proc. Brit. Mach. Vis. Conf. (BMVC), 2025, pp. 1–15. [^48]: H. Deguchi, M. Masuda, T. Nakabayashi, and H. Saito, “E2GS: Event enhanced Gaussian splatting,” in Proc. IEEE Int. Conf. Image Process. (ICIP), Oct. 2024, pp. 1676–1682. [^49]: W. Yu, C. Feng, J. Li, J. Tang, J. Yang, Z. Tang, M. Cao, X. Jia, Y. Yang, L. Yuan, and Y. Tian, “EvaGaussians: Event stream assisted Gaussian splatting from blurry images,” in Proc. IEEE/CVF Int. Conf. Comput. Vis. (ICCV), Oct. 2025, pp. 24780–24790. [^50]: Y. Xue, H. Li, S. Leutenegger, and J. Stüeckler, “Event-based non-rigid reconstruction from contours,” in Proc. Brit. Mach. Vis. Conf. (BMVC), 2022, pp. 1–22. [^51]: S. Ghosh and G. Gallego, “Event-based stereo depth estimation: A survey,” IEEE Trans. Pattern Anal. Mach. Intell., vol. 47, no. 10, pp. 9130–9149, Oct. 2025. [^52]: K. Horikawa, M. Isogawa, H. Saito, and S. Mori, “Dense depth from event focal stack,” in Proc. IEEE/CVF Winter Conf. Appl. Comput. Vis. (WACV), Feb. 2025, pp. 4545–4553. [^53]: W. Ikeda, M. Hatano, R. Hara, and M. Isogawa, “Event-based egocentric human pose estimation in dynamic environment,” in Proc. IEEE Int. Conf. Image Process. (ICIP), Sep. 2025, pp. 2336–2341. [^54]: C. Millerdurai, H. Akada, J. Wang, D. Luvizon, C. Theobalt, and V. Golyanik, “EventEgo3D: 3D human motion capture from egocentric event streams,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2024, pp. 1186–1195. [^55]: C. Millerdurai, H. Akada, J. Wang, D. Luvizon, A. Pagani, D. Stricker, C. Theobalt, and V. Golyanik, “EventEgo3D++: 3D human motion capture from a head-mounted event camera,” Int. J. Comput. Vis., vol. 133, no. 9, pp. 6432–6455, Sep. 2025. [^56]: R. Hori, M. Isogawa, D. Mikami, and H. Saito, “EventPointMesh: Human mesh recovery solely from event point clouds,” IEEE Trans. Vis. Comput. Graphics, vol. 31, no. 9, pp. 5593–5610, Sep. 2025. [^57]: Z. Xu, G. Lu, C. Gao, and Q. Chen, “EvHand-FPV: Efficient event-based 3D hand tracking from first-person view,” 2025, arXiv:2509.13883. [^58]: J. Park, G. Moon, W. Xu, E. Kaseman, T. Shiratori, and K. M. Lee, "3D hand sequence recovery from real blurry images and event stream," in Proc. Eur. Conf. Comput. Vis. (ECCV), 2024, pp. 343–359. [^59]: J. Jiang, X. Zhou, B. Wang, X. Deng, C. Xu, and B. Shi, “Complementing event streams and RGB frames for hand mesh reconstruction,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2024, pp. 24944–24954. [^60]: A. Prakash, R. Tu, M. Chang, and S. Gupta, "3D hand pose estimation in everyday egocentric images," in Proc. Eur. Conf. Comput. Vis. (ECCV), 2024, pp. 183–202. ## [^61]: T. Ohkawa, K. He, F. Sener, T. Hodan, L. Tran, and C. Keskin, “AssemblyHands: Towards egocentric activity understanding via 3D hand pose estimation,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2023, pp. 12999–13008 --- [^62]: F. Mueller, D. Mehta, O. Sotnychenko, S. Sridhar, D. Casas, and C. Theobalt, "Real-time hand tracking under occlusion from an egocentric RGB-D sensor," in Proc. IEEE Int. Conf. Comput. Vis. (ICCV), Oct. 2017, pp. 1163–1172. [^63]: W. Mucha, M. Wray, and M. Kampel, “Towards egocentric 3D hand pose estimation in unseen domains,” in Proc. IEEE/CVF Winter Conf. Appl. Comput. Vis. (WACV), Mar. 2026, pp. 5776–5786. [^64]: F. Lin and T. Martinez, “Ego2HandsPose: A dataset for egocentric two-hand 3D global pose estimation,” in Proc. IEEE/CVF Winter Conf. Appl. Comput. Vis. (WACV), Jan. 2024, pp. 4363–4371. [^65]: G. Jocher, J. Qiu, M. Liu, S. Lyu, F. C. Akyon, and M. E. Kalfaoglu, “Ultralytics YOLO26: Unified Real-Time End-to-End Vision Models,” Ultralytics Inc., Frederick, MD, USA, Tech. Rep., 2026, doi: 10.48550/arXiv.2606.03748. [Online]. Available: [^66]: R. Papo, S. Gershov, T. Friedman, I. Or, G. Bolotin, and S. Laufer, "RoHan: Robust hand detection in operation room," 2025, arXiv:2501.08115. [^67]: M. Tan and Q. V. Le, “EfficientNetV2: Smaller models and faster training,” in Proc. 38th Int. Conf. Mach. Learn., 2021, pp. 10096–10106. [^68]: W. Mucha and M. Kampel, “In my perspective, in my hands: Accurate egocentric 2D hand pose and action recognition,” in Proc. IEEE 18th Int. Conf. Autom. Face Gesture Recognition. (FG), May 2024, pp. 1–9. [^69]: Y. Hu, S.-C. Liu, and T. Delbruck, “v2e: From video frames to realistic DVS events,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. Workshops (CVPRW), Jun. 2021, pp. 1312–1321. [^70]: iniVation. (2019). DAVIS346. [Online]. Available: [^71]: AiQ Synertial Ltd. 16 IMUs MoCap Gloves. [Online]. Available: [^72]: OptiTrack. Motive, Sep. 15, 2026. [Online]. Available: [^73]: S. Hampali, M. Rad, M. Oberweger, and V. Lepetit, “HOnnotate: A method for 3D annotation of hand and object poses,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2020, pp. 3193–3203. [^74]: S. Brahmbhatt, C. Tang, C. D. Twigg, Charles C. Kemp, and J. Hays, “ContactPose: A dataset of grasps with object contact and hand pose,” in Proc. Eur. Conf. Comput. Vis. (ECCV), 2020, pp. 361–378. [^75]: N. Carion et al., “SAM 3: Segment anything with concepts,” 2025, arXiv:2511.16719. [^76]: Diederik P. Kingma and J. Ba, “Adam: A method for stochastic optimization,” in Proc. Int. Conf. Learn. Represent. (ICLR), 2014, pp. 1–15. [^77]: I. Loshchilov and F. Hutter, “Decoupled weight decay regularization,” in Proc. Int. Conf. Learn. Represent. (ICLR), 2017, pp. 1–19. [^78]: K. He, X. Zhang, S. Ren, and J. Sun, “Deep residual learning for image recognition,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2016, pp. 770–778. [^79]: G. Jocher and J. Qiu, “Ultralytics YOLO11,” 2024. [Online]. Available: [^80]: I. Robinson, P. Robicheaux, M. Popov, D. Ramanan, and N. Peri, "RF-DETR: Neural architecture search for real-time detection transformers," 2025, arXiv:2511.09554. [^81]: Z. Lin, C. Ding, H. Yao, Z. Kuang, and S. Huang, “Harmonious feature learning for interactive hand-object pose estimation,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2023, pp. 12989–12998. ![Image](images/0704cccd58b5f5920a8c0e24769238035ba0b0633ee639185204ec6f2ce54df0.jpg) Ryosei Hara（IEEE研究生会员）于2025年在日本庆应义塾大学获得信息与计算机科学专业的工学学士学位，目前在该校攻读科学与技术专业的工学硕士学位。他的研究兴趣包括基于事件的视觉、中心视角视觉以及3D手部网格重建。 ![Image](images/a6394ee7802859c277f083427dd75d43d11f3e3f363b1467dfb25af055201c1b.jpg) 池田航（IEEE研究生会员）于2025年从日本庆应义塾大学获得信息与计算机科学硕士学位，目前在该校攻读科学技术博士学位。他的研究兴趣包括人体动作捕捉和以自我为中心的视觉技术。 ![Image](images/9c815a00ab4e1b1cef4c6802a252c975b9815fdf6496cca74756be8a62113233.jpg) 波多野雅史（IEEE研究生会员）于2023年从日本庆应义塾大学获得计算机科学硕士学位，同年从法国中央理工学院获得工程师文凭。他目前在庆应义塾大学攻读计算机科学博士学位。他的研究兴趣包括以自我为中心的视觉技术以及人体动作的理解与生成。 ![Image](images/f6d1642100402759327d0f389faac3af1fd872fbc6f33cfdb4cad803e2703e50.jpg) 磯川真理子（IEEE会员）分别于2011年、2013年和2019年从日本大阪大学获得学士、硕士和博士学位。2019年至2020年间，她曾作为访问学者在美国卡内基梅隆大学进行研究。她目前担任日本庆应义塾大学理工学部信息与计算机科学系副教授。她的研究兴趣包括计算机视觉和模式识别。