{
  "paper_id": "50caf991696c48cabbbb9b7fe0cd954b",
  "paper_title": "EventHands: Real-Time Neural 3D Hand Pose Estimation from an Event Stream",
  "paper_authors": [
    "Viktor Rudnev",
    "Vladislav Golyanik",
    "Jiayi Wang",
    "Hans-Peter Seidel",
    "Franziska Mueller",
    "Mohamed Elgharib",
    "Christian Theobalt"
  ],
  "publication_date": "",
  "publication_venue": "2021 IEEE/CVF International Conference on Computer Vision (ICCV)",
  "abstract": "单目视频的三维手部姿态估计是一个长期存在且富有挑战的问题，目前正受到广泛关注。本文首次使用单个事件相机，即一种对亮度变化作出响应的异步视觉传感器，来解决该问题。我们的 EventHands 方法具备此前单个 RGB 或深度相机未曾展示的特性，例如在低数据吞吐量下的高时间分辨率以及 1000 Hz 实时性能。由于事件相机与传统相机的数据模式不同，现有方法无法直接应用于事件流，也无法直接在事件流上重新训练。因此，我们设计了一种新的神经方法，接受一种适合学习的新型事件流表示，在新生成的合成事件流上训练，并能泛化到真实数据。实验表明，EventHands 在精度以及捕捉前所未有的快速手部运动方面，优于近期使用彩色或深度相机的单目方法。本文方法、事件流模拟器和数据集均已公开。\n",
  "keywords": [
    "事件相机",
    "三维手部姿态估计",
    "EventHands",
    "局部归一化事件面",
    "LNES",
    "事件流模拟",
    "ResNet-18",
    "卡尔曼滤波",
    "实时处理",
    "合成到真实泛化"
  ],
  "paper_institutions": [
    "MPI for Informatics, SIC",
    "Google Inc."
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:34:14.542530Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对单目 RGB 或深度方法在快速手部运动中容易受到运动模糊、固定帧率和光照条件限制，且现有方法不能直接处理异步、稀疏、不规则事件流的问题，本文提出首个仅依赖单个事件相机的 EventHands 三维手部姿态估计方法；相关研究多集中于事件灰度重建、光流、SLAM 或二维手势识别，而手部自遮挡严重且缺少带三维真值的事件数据，因此作者构建 GPU 事件模拟器并直接在事件表示上学习，避免先重建灰度图像而抵消事件相机低带宽、高时间分辨率和抽象外观变化的优势。方法以 SMPL+H/MANO 参数化手模型为基础，用 100ms 时间窗、99ms 重叠和正负两极双通道构造局部归一化事件面 LNES，核心机制为 $I(x_i,y_i,p_i)=(t_i-t_0)/L$，在同像素同极性新事件覆盖旧事件的同时保留窗内相对时间顺序，并使有效推理节奏达到 1ms；ResNet-18 回归由三维平移、轴角旋转和 6 个 MANO PCA 系数组成的 12 维姿态，损失为姿态、平移和旋转三个 L2 项的加权和，随后用恒速卡尔曼滤波按低速或高速运动切换噪声参数，以消除跨窗抖动。训练数据来自新手部专用模拟器，其模拟手臂与手、自然姿态插值、双光源 Lambert 光照、背景、事件阈值分布和噪声，并每 50 秒随机化形状、纹理、光照、背景和阈值，共生成约 100 小时、3.6×10^8 个带标注离散时间步，其中 45 小时用于训练；选择合成数据是为了解决真实事件三维真值难以获取的问题，而多维度随机化用于验证合成到真实的泛化能力。测试包括 1240 秒、2.64×10^8 个事件的合成集，以及用 DAVIS240C 采集的 4 段共 12.6 秒、5.93×10^6 个事件的真实集；真实数据借助 500fps Sony RX0 与 OpenPose 预标注并人工校正，得到 357 帧、2499 个关键点。合成数据使用 0–100mm 根对齐 3D-PCK 和 3D-AUC，真实数据使用掌长归一化 2D-PCKp 和 2D-AUCp；完整配置达到合成 2D-AUCp 0.88、3D-AUC 0.85 和真实 2D-AUCp 0.77，消融显示数据增广和卡尔曼滤波主要提升真实泛化，LNES 在 300ms 长窗下仍仅轻微下降，而事件计数图或事件发生图迅速退化，同时系统以 1000Hz 实时运行，网络在不同 GPU 上每秒约可预测 750–1550 个姿态，在快速运动、握拳和黑暗场景中优于 Mueller、Boukhayma 等 RGB 方法。该技术适用于低延迟、高动态范围和高速交互场景，但要求背景近似静止、光照恒定，且没有相机运动或其他运动目标产生的大量事件，也未显式处理手-物或手-手交互，慢速运动时需要检测有效事件并回退到先前预测；未来可研究背景事件过滤、全动态场景训练、保留事件低延迟特性的 RGB-事件融合，以及用学习型运动先验替代卡尔曼滤波的白噪声假设。\n\n### 关键要点\n\n- EventHands 全程不使用灰度或 RGB 图像，仅从单个 DAVIS240C 事件相机的异步事件流回归三维手姿态，并以 1000Hz 实时运行。\n- LNES 将 100ms 窗口内事件写入正负两个极性通道，像素值记录窗内归一化时间戳；相邻窗口重叠 99ms，因此有效输出间隔为 1ms。\n- 与事件发生图、单通道或双通道事件计数图不同，LNES 保留窗内事件的先后关系，在 300ms 长窗时性能仅小幅下降，而基线随窗口增大明显退化。\n- 事件模拟器集成 SMPL+H 和 MANO，建模手与手臂、手部纹理、随机姿态与平移、双光源 Lambert 光照、背景、事件阈值分布及噪声，阈值和噪声率按 DAVIS240C 校准。\n- 模拟数据共约 100 小时、3.6×10^8 个带标注离散时间步；训练使用 45 小时合成事件流，合成测试集包含 1240 秒和 2.64×10^8 个事件。\n- ResNet-18 从 LNES 回归 12 维参数 θ=[t,R,α]，包括三维平移、轴角旋转和 6 个 MANO PCA 系数，训练损失为姿态、平移和旋转三个 L2 项的加权和。\n- 恒速卡尔曼滤波对网络原始输出进行时序平滑，并在低速与高速运动间使用不同过程噪声和观测噪声，以减轻真实数据上的跨窗抖动。\n- 真实测试包含 4 段共 12600ms、5.93×10^6 个事件的序列；使用 500fps Sony RX0 辅助，经 OpenPose 初标和多轮人工校正，得到 357 帧、2499 个关键点。\n- 完整方法在合成集上达到 2D-AUCp 0.88 和 3D-AUC 0.85，在真实集上达到 2D-AUCp 0.77；定量和定性结果显示其在快速运动、握拳等情形优于对比 RGB 方法。\n- 方法假设背景近似静止、光照恒定且事件主要来自手和手臂，不能直接处理相机运动、大量其他运动目标或显式手-手交互；事件相机使其可在黑暗中工作，慢速运动时则依赖有效事件检测和预测回退。"
}