{
  "paper_id": "692abfbff4ef8d2300753ab21da6ab47",
  "paper_title": "SPIKING NEURAL NETWORK ENHANCED HAND GESTURE RECOGNITION USING LOW-COST SINGLE-PHOTON AVALANCHE DIODE ARRAY",
  "paper_authors": [
    "ZHENYA ZANG",
    "XINGDA LI",
    "DAVID DAY UEI LI"
  ],
  "publication_date": "",
  "publication_venue": "unknown",
  "abstract": "本文提出一种紧凑的脉冲卷积神经网络（SCNN）和脉冲多层感知机（SMLP），利用9.6单光子雪崩二极管（SPAD）阵列在黑暗与亮光环境中识别十种手势。该手势识别系统使用光子强度数据训练和测试网络，并在相同网络拓扑和训练策略下实现了一个普通卷积神经网络（CNN）作为对比。所提SCNN是从零开始训练，而非由CNN转换得到。三种模型在黑暗和环境光干扰环境中进行了测试。结果表明，SCNN取得了与CNN相当的准确率（90.8%对92.9%），并且仅使用8个时间步即可实现更低的浮点运算量；SMLP则在计算负载和准确率之间提供了折中。代码和采集的数据集可在 <https://github.com/zzy6666662zy/TinyLiDAR_NET_SNN> 获取。\n",
  "keywords": [
    "脉冲神经网络",
    "单光子雪崩二极管",
    "手势识别",
    "脉冲卷积神经网络",
    "脉冲多层感知机",
    "低功耗计算",
    "Poisson编码",
    "环境光鲁棒性"
  ],
  "paper_institutions": [
    "Department of Biomedical Engineering, University of Strathclyde, 106 Rottenrow East, Glasgow, G4 0NW United Kingdom"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:40:03.886058Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文针对现有动态视觉传感器和定制SPAD系统成本高昂、高分辨率图像预处理开销大，而低成本消费级SPAD阵列空间分辨率有限且难以直接完成复杂手势识别的问题，提出一种由低于10美元的VL53L8CH SPAD阵列、紧凑SCNN和SMLP组成的静态手势识别方案。相关研究表明SNN具有事件稀疏、累加运算和高能效特点，并已用于DVS手势识别和昂贵定制SPAD事件处理，但低成本ST SPAD主要输出强度、深度或直方图数据，仍缺少面向低分辨率光子计数图像的轻量级从零训练方案。系统在TCSPC模式下由940nm VCSEL主动照明并采集反射光子，选择光子计数而非深度图像是为了避免ST逐像素深度拟合算法引入误差；传感器配置为8×8分辨率、18个时间 bin、约123.3 ps bin宽度、666 mm有效检测距离、65°对角视场、5 ms积分时间和60 Hz测距频率。作者构建并公开了包含10类手势及无手势类别的数据集，训练集5100张、测试集1100张，并使用OpenCV双三次插值将8×8图像放大至25×25以在保持保真度的同时改善可分性。网络基于PyTorch和SpikingJelly实现，归一化图像经Poisson编码器在8个时间步上转换为脉冲序列；SCNN和SMLP均从零训练，采用Integrate-and-Fire神经元，其核心膜电位更新为H(t)=V(t−1)+X(t)，当H(t)达到阈值Vth时输出脉冲S(t)=1并重置膜电位，否则输出0；训练使用Sigmoid替代梯度解决脉冲不可微问题，优化器为Adam，学习率10^-3，损失函数为交叉熵，并采用耐心值20的早停策略。在黑暗环境和距传感器约1米的60 W LED环境光干扰下，CNN、SCNN和SMLP均以混淆矩阵评估，SCNN取得90.8%准确率，接近CNN的92.9%，说明从零训练的脉冲网络可保持可比精度；计算评估显示SCNN单图推理运算量为592617 FLOPs，较同拓扑CNN的745750 FLOPs降低20.5%，SMLP为482620 FLOPs，体现了精度与计算负载之间的折中。尽管在通用CPU上SNN因时间维展开和硬件未利用稀疏性而表现出更长训练与推理时间，但其自然稀疏的累加运算在定制神经形态硬件、协处理器或固件集成中具有降低时钟周期和硬件资源的潜力。该方案适用于低功耗、近距离、受限视场和固定静态手势的边缘交互场景，未来可扩展到更多动态手势、雾中或障碍物后感知、非视距成像以及利用SPAD光子立方体仿真事件相机等方向。\n\n### 关键要点\n\n- 系统采用成本低于10美元的ST VL53L8CH消费级SPAD阵列，安装在NUCLEO-F401RE评估板上，支持8×8空间分辨率和约15 fps采集。\n- SPAD工作在TCSPC模式，集成940nm VCSEL；固件被配置为仅输出光子计数，因为强度数据比逐像素拟合深度更直接且可避免深度重建误差。\n- 传感器直方图最多18个时间 bin，每 bin约123.3 ps，对应约37 mm距离分辨率，因此有效检测距离限制在约666 mm，对角视场为不可配置的65°。\n- 数据集包含10种手势和1个无手势类别，训练集共5100张图像，测试集共1100张图像，其中每个手势和无手势条件在测试集中各100张。\n- 原始8×8光子计数图像先归一化，再用双三次插值放大到25×25，随后通过Poisson编码器分布到8个时间步上形成脉冲输入。\n- SCNN在卷积层后使用批归一化，SMLP包含两个全连接层和dropout模块；两者均采用IF神经元并从零开始训练，而不是由ANN转换得到。\n- 为处理脉冲函数在反向传播中的不可微问题，训练采用Sigmoid替代梯度，并使用Adam、学习率10^-3、交叉熵损失和耐心值20的早停策略。\n- 测试分别在仅接收VCSEL反射光子的黑暗环境和由约1米外60 W LED灯泡产生环境光噪声的条件下进行，以模拟真实光照变化。\n- SCNN准确率达到90.8%，接近同拓扑CNN的92.9%；所有模型在清晰黑暗数据上的表现均高于环境光损坏数据。\n- SCNN单图推理需要592617 FLOPs，比CNN的745750 FLOPs减少20.5%；SMLP需要482620 FLOPs，但模型大小和参数量大于SCNN。\n- 在Intel Core i5 CPU上，SCNN和SMLP的训练及推理时间高于CNN，原因是通用CPU难以利用SNN的脉冲稀疏性；该结果支持其在定制神经形态硬件上实现低功耗加速。"
}