{
  "paper_id": "74c62f347c7ab67d6c5c9ea5dbb9dd09",
  "paper_title": "EventEgoHands++: Event-Based Egocentric 3D Hand Mesh Reconstruction With Real Dataset",
  "paper_authors": [
    "Ryosei Hara",
    "Wataru Ikeda",
    "Masashi Hatano",
    "Mariko Isogawa"
  ],
  "publication_date": "",
  "publication_venue": "IEEE Access",
  "abstract": "3D手部网格重建是一项具有挑战性且对人机交互、AR/VR等下游应用至关重要的任务。尽管RGB或深度相机等传统相机已被广泛用于该任务，但依赖它们的方法在低光照环境和严重运动模糊下会遇到困难。为克服这些限制，事件相机凭借高动态范围和高时间分辨率近期受到关注。然而，将事件相机用于第一视角手部重建仍然困难，因为相机佩戴者的运动会产生密集背景事件，掩盖手部特有信号。虽然首个第一视角事件方法通过手部分割缓解了这一问题，但其二值手部掩码不能区分左右手，导致模型缺少实例级手部信息，并在只有一只手或没有手出现时仍预测双手，从而产生错误的手间关系并降低重建精度。本文提出EventEgoHands++，一个从第一视角进行事件3D手部网格重建的框架。该方法加入手部检测器，估计左右手的实例级边界框和掩码；同时引入自适应注意力，根据检测结果动态门控注意力，以准确学习双手之间的空间关系和相互交互。为训练和评估该框架，作者为合成N-HOT3D数据集扩展了边界框标注和精修掩码，并新建了EEH-R——迄今最大的真实世界事件第一视角手部数据集，包含约100万个在包括低光照在内的环境中采集的标注帧。在合成和真实数据集上的大量实验表明，该方法始终优于基线方法。代码和数据集可在<https://ryhara.github.io/EventEgoHandsV2/> 获取。\n",
  "keywords": [
    "自我中心视觉",
    "事件视觉",
    "3D手部网格重建",
    "3D手部姿态估计"
  ],
  "paper_institutions": [
    "Graduate School of Science and Technology, Keio University",
    "JST PRESTO"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:21:48.971588Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文针对第一视角事件相机3D手部网格重建中佩戴者运动产生密集背景事件、早期EventEgoHands的二值手部掩码无法区分左右手、在单手或无手时仍强制输出双手并无条件交叉注意力导致手间关系错误等问题；在RGB或深度方法受低照度和运动模糊限制、已有事件方法多限于固定第三人称且真实第一视角数据缺失的背景下，提出仅依赖事件输入的EventEgoHands++。该方法先以YOLO26手部检测器在LNES事件帧上联合估计左右手实例级边界框与掩码，依据手别和置信度确定有效性标志$m_l,m_r$并提取手部事件，再用EfficientNetV2-S提取特征；其核心自适应注意力在双手可见时执行$\\bar F_h=\\operatorname{SelfAttn}_h(F_h)$、$\\hat F_l=\\operatorname{CrossAttn}(\\bar F_l,\\bar F_r)$及反向交叉注意力，单手可见时仅执行自注意力，无手时跳过后续处理，从而避免将不存在手部的全部令牌掩码后污染交叉注意力特征，并减少无效计算，最后经MANO解码器输出每只手20个3D关节和778个网格顶点。训练采用3D关节L1损失、左右手相对关节L2损失、网格顶点L1损失和MANO姿态与形状参数L2损失的加权组合。为兼顾可控标注与真实传感器验证，作者扩展由HOT3D经v2e生成、包含9名受试者和约480,120帧的合成N-HOT3D，新增边界框并精修掩码；同时新建包含8名受试者、85个序列、1,019,716个标注帧，覆盖厨房与工作场景以及平均457 lux明亮和3.5 lux黑暗条件的真实EEH-R数据集，用于检验真实事件密度、时间分布、传感器噪声及低光性能。实验采用224×224输入、单张NVIDIA RTX 6000 Ada GPU、N-HOT3D检测阈值0.5和EEH-R阈值0.8等设置，以R-AUC、RR-AUC、MPJPE、MPVPE、PCK/AUC和mAP等指标评估；在N-HOT3D上相比最佳现有方法平均MPJPE降低21.82 mm（33.7%）、MPVPE降低20.57 mm（34.0%），在EEH-R上分别降低7.90 mm（18.8%）和7.13 mm（18.1%），整体推理速度在单手和双手场景分别达到45.42 FPS和39.87 FPS，验证了实例级检测、可见性感知交互建模和帧式架构的有效性。该技术可服务于人机交互、AR/VR、机器人和可穿戴边缘设备，但仍受受控实验室环境、手套改变手部外观、物体遮挡、手或头接近静止时事件稀疏、逐帧估计导致时间抖动以及检测器漏检等约束；未来可扩展到野外和裸手采集，显式建模手物接触，累积历史事件或引入时序处理，并进一步发展4D手部轨迹重建。\n\n### 关键要点\n\n- 手部提取阶段采用YOLO26实例分割框架，从2通道LNES事件帧联合预测左右手边界框、掩码、手别和置信度，掩码使用7×7核膨胀，同一手出现多个检测时选择置信度最高者。\n- 手部重建阶段以ImageNet-1K预训练的EfficientNetV2-S作为共享视觉编码器，对掩码后的左右手事件帧提取通道数为1280、空间分辨率为7×7的特征图。\n- 自适应注意力根据$m_l,m_r$切换运算：双手检测时先各自自注意力再进行双向交叉注意力，单手检测时只进行自注意力，无手检测时跳过重建。\n- 与在注意力分数中加入掩码的方式不同，自适应注意力直接切换注意力操作本身，避免不存在手部的令牌破坏可见手部特征，同时省去不必要的计算。\n- MANO解码器将精炼特征经注意力池化和线性层映射为45维姿态、10维形状、3维平移和3维旋转参数，再解码出每只手20个关节和778个顶点。\n- 训练目标由关节L1损失、手间相对关节L2损失、顶点L1损失和MANO参数L2损失组成，实验中对应权重分别为2.0、1.0、2.0和1.0。\n- 合成N-HOT3D数据集由HOT3D的Aria眼镜子集经v2e生成，共480,120帧，按受试者和序列划分为334,190帧训练、83,760帧验证和62,170帧测试，测试受试者未在训练中出现。\n- 真实EEH-R数据集使用头戴DAVIS346事件相机采集，包含8名受试者、85个序列和1,019,716个标注帧，覆盖厨房、工作场景以及明亮和黑暗条件。\n- EEH-R使用带16个IMU的动作捕捉手套和含16台相机的OptiTrack系统获取手部与相机全局姿态，标注以120 fps记录，系统平均3D标定误差低于0.1972 mm。\n- 在N-HOT3D上，EventEgoHands++取得R-AUC 0.661、RR-AUC 0.528、MPJPE 43.01 mm和MPVPE 39.96 mm，显著优于EventHands、Ev2Hands和EventEgoHands。\n- 在EEH-R上，该方法整体取得R-AUC 0.691、RR-AUC 0.551、MPJPE 34.18 mm和MPVPE 32.16 mm，并且在低光照场景下仍能完成有效重建。\n- 主要失败情形包括手持物严重遮挡导致漏检或指尖重建不准、手和头接近静止时事件稀疏、缺乏时序建模造成连续帧抖动，这些也界定了方法当前的适用限制。"
}