{
  "paper_id": "efc08ab25961cca625dfe06ac188baf5",
  "paper_title": "Multisensor Online Transfer Learning for 3D LiDAR-based Human Detection with a Mobile Robot",
  "paper_authors": [
    "Zhi Yan",
    "Li Sun",
    "Tom Duckett",
    "Nicola Bellotto"
  ],
  "publication_date": "",
  "publication_venue": "2018 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)",
  "abstract": "人类检测与跟踪是服务机器人的一项基本任务，多传感器的组合使用具有尚未充分利用的潜在优势。本文介绍了一个框架，使机器人能够利用多传感器跟踪系统，随时间从其他传感器学习新的基于3D LiDAR的人类分类器。主要创新在于利用现有传感器（如RGB-D相机、2D LiDAR）的不同检测器，基于新的“轨迹概率”在线训练新的3D LiDAR人类分类器。该框架使用此概率来检查新检测是否属于由不同传感器和/或检测器估计的人类轨迹，并以半监督方式学习人类分类器。该框架已在移动机器人收集的真实世界数据集上实现和测试。实验表明，我们的系统能够有效地从不同传感器和环境中学习，并且3D LiDAR人类分类的性能随所用传感器/检测器数量的增加而提高。",
  "keywords": [
    "online transfer learning",
    "3D LiDAR",
    "human detection",
    "multisensor tracking",
    "semi-supervised learning"
  ],
  "paper_institutions": [],
  "output_language": "zh",
  "provider": "doubao",
  "model": "ark-code-latest",
  "prompt_template": "simple",
  "extracted_at": "2026-08-16T19:47:41.200927Z",
  "template_tag": "simple",
  "summary": "### 摘要\n本文针对服务机器人中3D LiDAR点云稀疏、缺乏颜色纹理特征导致人类检测困难的问题，提出了一种基于多传感器跟踪的在线迁移学习框架。与现有需要人工标注数据的离线训练方法不同，该框架利用已有的RGB-D相机和2D LiDAR检测器（静态检测器），通过计算轨迹概率评估新检测属于人类轨迹的可能性，并以半监督方式在线训练3D LiDAR人类分类器（动态检测器）。核心机制是采用贝叶斯定理融合不同传感器的检测置信度，通过概率乘积得到整条轨迹的人类概率，并与阈值比较生成训练标签，再通过批量增量训练更新分类器。实验在真实室内公共区域由移动机器人采集的19分钟数据集上进行，使用SVM分类器，比较了不同传感器组合（仅3D LiDAR、与RGB-D相机、与2D LiDAR、两者都有）的性能，以平均精度（AP）为主要指标。结果显示，结合RGB-D相机和2D LiDAR双传感器的组合在第7次迭代后AP最高，优于其他组合和离线基线，证明了多传感器信息对在线迁移学习的促进作用。进一步探索方向包括改进负样本生成模型以及评估新检测器对跟踪稳定性的影响。该方法可在部署环境中直接学习，无需手工标注，适用于服务机器人的实时场景，且计算成本低，能在普通CPU上分钟级完成训练。\n### 关键要点\n- 提出一种在线迁移学习框架，利用多传感器跟踪系统训练新的3D LiDAR人类分类器，无需任何人工标注数据。\n- 核心创新是“轨迹概率”，基于贝叶斯定理融合来自不同检测器的置信度，用于评估整条轨迹属于人类的概率。\n- 轨迹概率通过乘积形式综合各检测器在每个时间步的置信度，并转化为概率值，与阈值比较生成训练标签。\n- 采用批量增量训练（BIT）策略，每积累300个正样本和300个负样本更新一次分类器，共进行7次迭代。\n- 实验中使用了真实世界数据集，包含约19分钟连续记录，测试集含100帧、1197个人类标注，不同距离从几十厘米到20米。\n- 静态检测器包括RGB-D相机的上半身检测器和2D LiDAR的腿部检测器，动态检测器为3D LiDAR聚类加SVM分类器。\n- 分类器使用LIBSVM，采用RBF核，训练样本正负比1:1，输入特征共61维，并通过logistic函数获得概率输出。\n- 平均精度（AP）作为主要评估指标，比准确率更合适，因为真负样本远多于真正样本。\n- 实验结果显示，仅用3D LiDAR或与2D LiDAR组合时AP随迭代提升，加入RGB-D相机后最终AP显著高于其他组合。\n- 多传感器组合能从移动、站立和坐着的人中学习，而仅3D LiDAR只能从移动的人学习，导致前者性能更好。\n- 离线训练的分类器缺乏远距离样本，召回率较低，在线框架自动从环境中学习，包含丰富远距离场景。\n- 系统已模块化实现于ROS，代码和数据集公开，易于扩展到其他传感器和动态物体，如汽车、自行车等。"
}