{
  "paper_id": "ebd4272f3a3e3365c83b68b7ac72b20f",
  "paper_title": "3D Pose Estimation of Two Interacting Hands from a Monocular Event Camera",
  "paper_authors": [
    "Christen Millerdurai",
    "Jiayi Wang",
    "Diogo Luvizon",
    "Viktor Rudnev",
    "André Jonas",
    "Christian Theobalt",
    "Vladislav Golyanik"
  ],
  "publication_date": "",
  "publication_venue": "2024 International Conference on 3D Vision (3DV)",
  "abstract": "单目视频三维手部追踪因双手交互、遮挡、左右手歧义和快速运动而极具挑战。现有方法大多依赖RGB输入，在低光照条件下存在严重局限并容易产生运动模糊。事件相机只记录局部亮度变化而非完整图像帧，因此不会受到上述问题影响，但由于数据模态差异显著，现有基于图像的技术无法直接应用于事件。为此，本文提出首个基于单目事件相机对快速运动且相互作用的双手进行三维跟踪的框架。该方法通过新型半监督特征级注意力机制解决左右手歧义，并引入交集损失以消除手部碰撞。为推动该领域发展，作者发布了大规模合成双手数据集Ev2Hands-S，以及包含真实事件流和三维真值标注的真实基准Ev2Hands-R。所提方法在三维重建精度上优于现有方法，并能在严苛光照条件下泛化到真实数据。\n",
  "keywords": [
    "事件相机",
    "三维手部姿态估计",
    "双手交互",
    "事件点云",
    "特征级注意力",
    "半监督学习",
    "碰撞损失",
    "MANO"
  ],
  "paper_institutions": [
    "MPI for Informatics, SIC",
    "Saarland University, SIC",
    "RPTU Kaiserslautern-Landau"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:29:36.218663Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文解决单目视频中两只快速运动且相互作用手部的三维跟踪问题。已有研究多依赖RGB，在低照度、高速运动时会出现欠曝光与运动模糊，而已有事件方法仅处理单手，无法分离双手、背景和噪声纠缠的异步事件；事件相机具有高时间分辨率、高动态范围和稀疏异步特性，但传统CNN式事件帧会混淆不同手部事件。为此提出Ev2Hands，首个仅用单目事件流重建双手形状、姿态和全局位置的框架。其先把原始事件e_i=(x_i,y_i,t_i,p_i)在时间窗内按同像素聚合为事件云E_k=(x_k,y_k,t_k,P_k,N_k)，保留时间维并压缩冗余；再以PointNet++提取逐点特征，经左右手分支和分割分支预测左手、右手、背景及混合无类别，核心特征级注意力为Attention(Q_(·),S,F)=F(Softmax(Q_(·)^T S/sqrt(d_s)))，让手部查询利用分割键值聚焦相关事件，分割在合成数据上监督、在真实数据上仅由姿态梯度间接学习，形成半监督机制；随后两个不共享权重的回归器输出MANO的姿态θ、形状β以及全局旋转R和平移t。训练联合三维关节、MANO参数、分割、手间一致性、基于圆锥距离场的交集碰撞和MANO正则损失；真实微调时去掉分割损失并改用二维投影关节损失以缓解内参与域间差异。由于此前没有双手交互事件数据集，作者构建Ev2Hands-S：基于InterHand2.6M的5FPS MANO标注插值到30FPS，用Pyrender渲染并经VID2E生成3.12×10^8个事件，分辨率346×240、事件阈值0.4，附带分割标签，用于验证表示、注意力和监督策略；同时构建Ev2Hands-R，用DAVIS346C、Sony RX0和29台外部运动捕捉相机记录5名受试者的8个序列，全部31台相机同步标定且重投影误差低于3mm，数据约20分钟，其中2名受试者用于微调、3名用于评估，以检验真实泛化和严苛光照能力。实验采用0–100mm阈值的PCK/AUC，并报告单手根对齐的R-AUC、评估双手相对位置的RR-AUC以及网格相交三角形比例Coll%。在Ev2Hands-R上，Ev2Hands平均R-AUC/RR-AUC为0.64/0.52，优于Li等的0.60/0.40、Moon等的0.64/0.36和EventHands的0.38/0.32；在500FPS高快门欠曝场景达到0.47/0.30且Coll%仅0.57，在25FPS快速模糊场景达到0.53/0.36，支持注意力解歧、半监督分割和碰撞约束的有效性。消融还显示合成集上事件云加注意力加分割监督达到0.75/0.66，加入交集损失后碰撞降至6.69%，真实微调则将R-AUC/RR-AUC提升到0.64/0.52、Coll%降至5.12%，体现物理合理性与少量精度之间的权衡。该方法适用于人机交互、手语翻译、低照度和高速动作捕捉等场景，但假设相机固定，真实数据缺少事件分割标签，且便携式相机会造成大量背景杂波；未来可研究从运动相机中提取感兴趣对象事件，并融合RGB与事件流以兼顾低延迟和纹理保真。\n\n### 关键要点\n\n- Ev2Hands是首个仅从单个单目事件相机重建两只交互手部三维形状、姿态和全局位置的方法，推理时不使用RGB图像。\n- 原始事件表示为e_i=(x_i,y_i,t_i,p_i)，方法在时间窗内合并同一像素的事件，形成包含坐标、平均时间、正负事件计数的五维事件云。\n- 网络以PointNet++为骨干提取逐点事件特征，并设置左手分支、右手分支和分割分支，分割类别包括左手、右手、背景和无类别。\n- 特征级注意力机制为Attention(Q_(·),S,F)=F(Softmax(Q_(·)^T S/sqrt(d_s)))，可让每只手的回归器关注与该手更相关的事件。\n- 分割分支在合成数据上接受交叉熵监督，在真实数据上没有分割标签，仅通过手部参数监督传回的梯度进行半监督优化。\n- 两个手部回归器不共享权重，分别预测MANO姿态参数、形状参数、全局旋转和平移。\n- 交集损失利用圆锥距离场近似和碰撞三角形检测，惩罚双手网格穿透；手间损失则约束形状差异、相对关节运动和相对平移。\n- Ev2Hands-S基于InterHand2.6M生成，将5FPS标注插值到30FPS，共模拟3.12×10^8个事件，并提供事件分割标签。\n- Ev2Hands-R包含5名受试者的8个序列，由DAVIS346C事件相机、Sony RX0高速RGB相机和29台外部运动捕捉相机同步采集。\n- 真实数据采集系统的31台相机联合标定，重投影误差低于3mm；实验使用2名受试者微调、3名受试者评估。\n- 实现中使用PyTorch和Adam优化器，学习率为5×10^-5，批大小为128，合成数据训练8×10^5次迭代，真实数据微调1.5×10^4次迭代。\n- 方法的主要限制是假设固定相机，移动事件相机会产生大量背景事件；未来可结合RGB与事件流或研究相机运动下的兴趣事件提取。"
}