{
  "paper_id": "2f5a4e0f8c2d43444685b06d3e19de2f",
  "paper_title": "EvHand-FPV: Efficient Event-Based 3D Hand Tracking from First-Person View",
  "paper_authors": [
    "Zhen Xu",
    "Guorui Lu",
    "Chang Gao",
    "Qinyu Chen"
  ],
  "publication_date": "",
  "publication_venue": "unknown",
  "abstract": "针对基于帧的手部追踪方法在扩展现实设备等资源受限场景中难以同时满足精度、低延迟和能效的问题，本文提出 EvHand-FPV，一种利用单个事件相机进行第一视角 3D 手部追踪的轻量化框架。作者构建了结合带 3D 标注合成训练数据与带 2D 标注真实事件测试数据的第一视角数据集，并提出基于手腕的感兴趣区域、将 ROI 偏移嵌入网络的端到端映射策略，以及带辅助几何特征头的多任务学习方法。在真实第一视角测试集上，该方法将 2D-AUCp 从 0.77 提升到 0.85，同时参数量从 11.2M 降至 1.2M、单次推理 FLOPs 从 1.648G 降至 0.185G，两者均降低 89%；在合成数据上还取得 0.84 的 3D-AUCp。数据集和代码位于 <https://github.com/zen5x5/EvHand-FPV>。\n",
  "keywords": [
    "事件相机",
    "第一视角",
    "3D 手部追踪",
    "手部姿态估计",
    "扩展现实",
    "轻量化网络",
    "MobileViT V2",
    "多任务学习",
    "感兴趣区域",
    "LNES-Fast"
  ],
  "paper_institutions": [],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:38:26.269184Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文面向 AR/VR 头显等资源受限第一视角平台，解决传统帧相机功耗高、快速运动时易模糊，以及现有事件手部追踪模型参数多、仅限第三人称视角的问题。相关方法虽已验证事件流可用于 MANO 手部参数回归，但通常采用超过 10M 参数的 ResNet 类骨干，难以在端侧部署。为此，作者提出 EvHand-FPV：使用 evsim 基于 MANO 生成 720,000 ms 合成训练数据和 60,000 ms 合成测试数据，以获得精确 3D 关节与 PCA 标签；同时用 DAVIS346 采集最长 60 s、同步 30 FPS RGB 的真实事件数据，通过 MediaPipe 初标并人工校正 2D 关节，用于检验真实泛化能力。事件先经极性通道压缩，再由 LNES-Fast 在保留时间窗约束的同时设置事件数上限并提前终止累积，最后用高斯滤波抑制孤立噪声，其核心机制是在快速运动时避免模糊冗余、在慢速运动时避免表示过稀疏。网络选择 MobileViT V2，并将 SiLU 替换为 ReLU、用 Taylor 展开近似线性自注意力中的 Softmax；基于手腕是手臂与手部最窄连接处的几何线索定位手腕并裁剪 ROI，ROI 左上角偏移被拼接到最后全连接层，使网络隐式完成裁剪坐标到原图坐标的映射，避免显式重建。主任务输出 12 维，包括 6 维 MANO PCA、3 维平移和 3 维旋转；辅助任务预测 7 维事件分布几何统计量，推理时移除辅助分支，因此不增加部署开销，总损失为 $Loss_{Total}=Loss_{Main}+0.5\\times Loss_{Aux}$。实验基于 PyTorch Lightning、单张 NVIDIA RTX 3090、batch size 32、训练 20 个 epoch、Adam 学习率 $10^{-4}$；真实数据采用手掌归一化 2D-PCKp 与 2D-AUCp，合成数据采用 3D-AUCp。结果显示 EvHand-FPV 在真实集上达到 0.85 的 2D-AUCp，高于重训练 EventHands 的 0.77，同时参数量从 11.2M 降至 1.2M、FLOPs 从 1.648G 降至 0.185G，均降低 89%，并在合成集上保持 0.84 的 3D-AUCp，支持了轻量化表示、ROI 映射和多任务几何监督的有效性。该系统适用于虚拟键盘输入、AR 界面操作、机器人遥操作、康复和手语等低时延交互场景；主要约束是真实数据缺少 3D 标注、当前合成数据针对右手且 ROI 会带来约 0.01 的精度权衡，后续可扩展真实 3D 标注、多手与复杂遮挡场景，并在 FPGA/ASIC 或实际 XR 硬件上验证端到端时延与能耗。\n\n### 关键要点\n\n- 事件相机以微秒级时间分辨率和毫瓦级功耗异步感知亮度变化，适合快速手部运动和端侧 XR 场景。\n- 现有 EventHands、EvHandPose 等方法通常依赖超过 10M 参数的模型，且主要研究第三人称视角，未充分考虑第一视角设备的算力限制。\n- 新数据集包含 720,000 ms 带 3D 标签的合成训练数据、60,000 ms 合成测试数据，以及最长 60 s 的真实事件测试数据。\n- 真实数据由 DAVIS346 采集，覆盖不同手形和平面移动、深度移动、手腕旋转、手势变化等动作，2D 标签由 MediaPipe 初始标注并人工校正。\n- LNES-Fast 在固定时间窗内增加事件计数上限，达到阈值后提前停止累积，可减少快速运动造成的模糊和冗余，同时避免慢速运动时事件过稀疏。\n- 极性通道压缩将正负事件合并为单通道，高斯滤波只利用当前帧抑制孤立噪声，实验表明这些简化不会损害性能。\n- 基于手腕的 ROI 通过逐行检测事件左右边界并在边界重新扩张时停止来定位手腕，从而裁剪手部区域、显著缩小网络输入。\n- ROI 偏移被拼接到主任务末端全连接层，使网络隐式学习 ROI 坐标到原图坐标的变换，无需昂贵的显式重建。\n- MobileViT V2 主头输出 6 维 MANO PCA、3 维平移和 3 维旋转；辅助头预测质心、标准差、协方差特征值和方向等 7 维几何统计，推理时可删除。\n- 在真实第一视角测试集上，EvHand-FPV 取得 0.85 的 2D-AUCp，而重训练的 EventHands 为 0.77；在合成数据上其 3D-AUCp 为 0.84。\n- 相比 EventHands，EvHand-FPV 的参数量从 11.2M 降至 1.2M，FLOPs 从 1.648G 降至 0.185G，两者均减少 89%。\n- 消融实验显示 160×160 ROI 可降低 42.72% 计算量且 2D-AUCp 仅下降 0.01；真实数据缺少 3D 标注，因此 3D 指标只能在合成数据上评估。"
}