{
  "paper_id": "218671663a96bd9300198891375e2812",
  "paper_title": "基于LiDAR的人体活动识别多模态数据处理系统",
  "paper_authors": [
    "Jamie Roche",
    "Varuna De-Silva",
    "Joosep Hook",
    "Mirco Moencks",
    "Ahmet Kondoz"
  ],
  "publication_date": "",
  "publication_venue": "unknown",
  "abstract": "本文提出了一种利用多模态机器学习和传感器冗余进行人体活动识别（HAR）的框架。该方法结合RGB图像和LiDAR点云数据，使用Faster RCNN检测图像中的感兴趣区域（ROI），然后将ROI投影并对齐到3D点云，通过3D改进Fisher向量网络对活动进行分类。在自建的多模态数据集上，该框架实现了90.3%的准确率；在公开的SYSU-3D数据集上达到95.4%的准确率，优于现有基线方法。该框架可用于运动分析、社会行为理解、安防以及自动驾驶车辆等领域。",
  "keywords": [
    "卷积神经网络",
    "faster RCNN",
    "Fisher向量",
    "人体活动识别",
    "多模态机器学习"
  ],
  "paper_institutions": [],
  "output_language": "zh",
  "provider": "doubao",
  "model": "ark-code-latest",
  "prompt_template": "simple",
  "extracted_at": "2026-08-16T19:47:18.576525Z",
  "template_tag": "simple",
  "summary": "### 摘要\n本文解决人体活动识别中单一模态传感器（如RGB相机或可穿戴传感器）易受光照影响或数据稀疏的问题，提出一种融合RGB与LiDAR点云的多模态机器学习框架。该框架利用Faster RCNN（基于ResNet-50）从RGB图像中检测人体并生成2D ROI，通过几何对齐将ROI投影到LiDAR点云，分割出对应的3D ROI，再将其转换为改进的Fisher向量表示，最后由包含多个Inception模块和全连接层的CNN进行分类。在自建的LboroLdnHAR数据集（包含9种室内活动、16名参与者、6712个样本）上，框架整体准确率为90.3%，精度和召回率分别为89.5%和89.4%；在SYSU-3D数据集上准确率达95.4%。与PointNet相比，准确率提高80.5%；与基于RGB-D的DNN框架相比，提高6.9%。该框架消除了对可穿戴传感器的依赖，在室内外环境中均适用，可应用于运动分析、社会行为理解、安防和自动驾驶等场景。核心机制包括：2D ROI通过坐标变换（Xt=Δx+x, Yt=Δy+y, Zt=Δz+z）与3D点云对齐，并使用Fisher向量对点云进行紧凑表示。\n\n### 关键要点\n- 提出了一种融合RGB图像和LiDAR点云的多模态人体活动识别框架，利用传感器冗余克服单一模态的局限。\n- 使用Faster RCNN（基于ResNet-50）作为物体检测器，在RGB图像中检测人体并生成感兴趣区域（ROI），在LboroLdnHAR数据集上平均精度达到0.95，对数平均漏检率为0.1。\n- 通过几何对齐将2D ROI映射到LiDAR点云，使用坐标平移公式（Xt=Δx+x, Yt=Δy+y, Zt=Δz+z）和三角几何公式（如B=sin⁻¹(sin(A)×b/a)）完成不同传感器间的空间对齐。\n- 点云分类采用改进的Fisher向量表示，通过高斯混合模型（GMM）将无序的3D点云转换为固定大小的特征向量，保留了点间的空间关系。\n- 分类网络包含多个Inception模块、最大池化层和四个全连接层，约460万个训练参数，使用dropout防止过拟合。\n- 在自建的LboroLdnHAR数据集上，框架整体准确率为90.3%，精度和召回率分别为89.5%和89.4%。\n- 在LboroLdnHAR数据集上，对“躺下”类活动识别效果最佳（F分数为1.0），对“跑步”类活动识别效果最差（F分数为0.706）。\n- 对比实验表明，PointNet在相同数据集上准确率仅为9.8%，无法有效执行活动识别，而提出的框架显著优于PointNet。\n- 在SYSU-3D数据集上，框架准确率达到95.4%，比最佳基线方法（SGNET）高8.5%，表明其对手势和活动识别具有强泛化能力。\n- 该方法消除了对可穿戴传感器的需求，在室内外环境中均可工作，适用于运动分析、自动驾驶车辆和辅助生活等场景。\n- 局限性包括：LiDAR帧率低（5 Hz）可能导致运动模糊或点云稀疏；远距离物体检测易失败，可通过更高分辨率传感器改善；点云数据稀疏时分类仍可能出错。"
}