{
  "paper_id": "bddd2471f699ab0a7a32c10a8dd33da1",
  "paper_title": "Human activity recognition using a single-photon direct time-of-flight sensor",
  "paper_authors": [
    "Germán Mora-Martín",
    "Stirling Scholes",
    "Robert K. Henderson",
    "Jonathan Leach",
    "Istvan Gyongy"
  ],
  "publication_date": "2024",
  "publication_venue": "Optics Express",
  "abstract": "单光子雪崩二极管（SPAD）直接飞行时间（dToF）传感器可实现远距离深度成像，即使在颜色或纹理缺乏对比时也能探测目标。然而，远距离目标仅由少量像素表示，并受到太阳干扰噪声影响，限制了现有计算机视觉技术用于高层场景理解。本文提出一种基于卷积神经网络和循环神经网络、并完全使用合成数据训练的新型SPAD人体活动识别视觉系统。在使用64×32像素SPAD于40米距离采集的真实数据测试中，该方法成功克服了横向分辨率有限（人体四肢约为1像素宽）的问题，区分七种不同活动的平均准确率达到89%。该方法在GPU上以最高66 FPS分析连续的视频速率深度数据流，因此适合监控或自主系统态势感知等实时应用。\n",
  "keywords": [
    "单光子雪崩二极管",
    "直接飞行时间",
    "人体活动识别",
    "SPAD dToF",
    "深度成像",
    "卷积神经网络",
    "循环神经网络",
    "ConvLSTM",
    "合成数据",
    "激光雷达"
  ],
  "paper_institutions": [
    "School of Engineering, Institute for Integrated Micro and Nano Systems, The University of Edinburgh, Edinburgh EH9 3FF, UK",
    "School of Engineering and Physical Sciences, Heriot-Watt University, Edinburgh EH14 4AS, UK"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:31:15.440680Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对户外远距离人体活动识别中RGB方法缺少颜色或纹理对比、间接ToF射程有限、高分辨率深度方法又面临人体仅占数像素和太阳背景噪声的问题，论文在HAR从运动模板、HOG/光流/SVM到3D CNN与ConvLSTM，以及深度数据具备人景对比和隐私优势的背景下，提出完全用合成数据训练的SPAD dToF低延迟流水线。系统避免姿态估计或深度上采样，先用适配U-Net的CNN在64×32原生深度图上分割背景、人和物体并生成边界框，再将每名人员的32×32×32裁剪序列中背景与物体像素置1，输入由双分支循环块和决策层构成的ConvLSTM RNN，经softmax输出闲置、行走、跑步、蹲下、站起、挥手、跳跃七类；其核心机制是用精确SPAD光学模型把仿真光子直方图迁移到真实传感器，信号光子率正比于反射率、反比于距离平方，背景率随反射率与环境光随机化，8-bin直方图计数加入泊松噪声并以质心峰值提取深度，单像素信噪比定义为SNR=Nsig/√b，用于衡量信号峰相对于噪声底的可分辨程度。数据与实现方面，AirSim与Unreal Engine生成512×128的RGB、分割和深度，再经模型降为64×32，以便快速获得大规模多样化标注并系统控制SBR、SNR和距离；分割网络训练80,000例，HAR网络训练7,600条序列，场景距离30–40m、SBR 0.15–0.7、SNR 2–10，网络在TensorFlow/Keras中用Adam优化，分割采用focal Tversky损失以缓解类别不平衡，HAR采用类别交叉熵，并以早停抑制过拟合。真实数据使用64×32 SPAD、850nm激光、60W峰值功率、20×5°视场和50 FPS户外采集，1,237个测试块由64帧以50%重叠后重采样为32帧，用于验证合成到真实的域迁移和实时性。采用IoU阈值0.5、精确率、召回率、F-score、类别准确率和混淆矩阵评估，合成分割正确定位率96%，合成HAR加权与简单平均准确率均为92%，真实HAR加权平均89%、简单平均87%，GPU最高处理66 FPS，支撑在四肢约1像素宽时无需超分辨即可直接识别活动的创新；多人交叉时依靠边界框连续性和交叉前后平均深度保持身份。局限包括走/跑等动作相似、真实数据存在变速、块边界包含动作转换导致真值模糊、跳跃和站起样本较少、两人中心距离低于5像素时跟踪可能错误，以及当前仅在30–40m、60W激光条件下验证。未来将采集更多真实多人数据、融合强度信息、测定可靠识别所需最小人物像素尺寸，并通过更高功率激光与接收光学扩展距离，服务于自动驾驶等自主系统态势感知、安防监控和隐私保护场景。\n\n### 关键要点\n\n- 分割网络以64×32归一化深度图为输入，输出背景、人、物三类64×32×3概率图，仅置信度超过80%的像素才作为有效人体检测。\n- HAR网络改编自无状态ConvLSTM模型，采用两个循环分支提取时序特征，相加后经卷积、池化和softmax输出七类动作，输入序列统一重采样为32帧。\n- 系统对每个被跟踪者裁剪32×32空间区域，并将背景和物体像素固定为1，以减少冗余输入并抑制干扰。\n- 多人场景通过比较前后帧边界框位置保持标签，漏检时沿用先前框，两人交叉时利用交叉前后平均深度区分身份；中心横向距离低于5像素时易出错。\n- 合成数据由AirSim和Unreal Engine生成RGB、分割和深度，再经SPAD光学模型形成64×32、8-bin光子直方图，信号与背景计数按泊松统计随机化，最后用质心峰值提取深度。\n- 训练设置包含80,000个分割样本和7,600条HAR序列，目标距离30–40m，SBR为0.15–0.7、SNR为2–10；合成测试集含2,100条32帧序列。\n- 真实采集使用64×32 SPAD dToF相机、850nm激光、60W峰值功率、10ns脉冲、20×5°视场和50 FPS，1,237个真实测试块由64帧以50%重叠截取并重采样到32帧。\n- 合成评估中分割网络在IoU阈值0.5下正确定位96%的样本，HAR加权和简单平均准确率均为92%，原始序列推理最高66 FPS。\n- 真实评估HAR加权平均准确率为89%、简单平均为87%；跳跃召回率约71%，主要受动作转换块和样本较少影响，但每个跳跃实例至少在一个块中被检出。\n- 方案当前验证距离为30–40m，适用于自主系统态势感知和隐私友好监控；约束包括四肢约1像素宽、太阳噪声、相似动作混淆、真实速度变化、块边界标签模糊及更远距离需要更强激光。"
}