{
  "paper_id": "07d6fa316a9dbdd597261fdc6629052e",
  "paper_title": "LV-DOT: LiDAR-visual dynamic obstacle detection and tracking for autonomous robot navigation",
  "paper_authors": [
    "Zhefan Xu",
    "Haoyu Shen",
    "Xinming Han",
    "Hanyu Jin",
    "Kanlong Ye",
    "Kenji Shimada"
  ],
  "publication_date": "",
  "publication_venue": "unknown",
  "abstract": "动态障碍物的准确感知对于室内环境中的自主机器人导航至关重要。尽管计算机视觉与自动驾驶领域已对复杂的三维目标检测与跟踪方法进行了深入研究与开发，但它们对昂贵且高精度传感器配置的需求以及大型神经网络对大量计算资源的需求，使其不适用于室内机器人。近年来，利用机载相机或LiDAR传感器的轻量级感知算法成为有前景的替代方案。然而，依赖单一传感器存在显著局限：相机视野有限且可能受高噪声影响，而LiDAR传感器频率较低且缺乏丰富的视觉特征。为解决这一局限，我们提出了一种同时使用机载相机与LiDAR数据的动态障碍物检测与跟踪框架，以实现轻量且准确的感知。所提方法扩展了我们此前的集成检测方法，该方法整合多个低精度但计算高效的检测器输出，以确保在机载计算机上的实时性能。在本工作中，我们提出了一种更鲁棒的融合策略，同时整合LiDAR与视觉数据以进一步提升检测精度。随后，我们利用采用基于特征的目标关联与卡尔曼滤波的跟踪模块来跟踪并估计所检测障碍物的状态。此外，还设计了动态障碍物分类算法以鲁棒地识别运动物体。数据集评估表明，与基准方法相比具有更好的感知性能。四旋翼机器人上的物理实验证实了其在真实世界导航中的可行性。",
  "keywords": [
    "动态障碍物检测",
    "目标跟踪",
    "LiDAR",
    "RGB-D相机",
    "传感器融合",
    "自主机器人导航",
    "卡尔曼滤波",
    "集成检测"
  ],
  "paper_institutions": [],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:39:50.497786Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n室内自主机器人导航需要对动态障碍物进行准确感知，但移动机器人受限于机载计算资源与传感器质量，自动驾驶领域依赖昂贵传感器与大型神经网络的3D检测跟踪方法难以适用，而单一传感器方案存在固有局限：相机视野有限且噪声较大，LiDAR频率低、点云稀疏且缺乏视觉特征。针对该问题，本文提出LV-DOT框架，同时利用机载LiDAR（360度长距离、深度精度高）与RGB-D相机（近距离高频稠密、视觉特征丰富）的互补优势：LiDAR检测模块经距离滤波、概率距离降采样与体素滤波后用DBSCAN聚类生成未分类3D障碍物包围盒；视觉深度检测采用集成检测策略融合DBSCAN与U-depth两个轻量检测器，仅保留IoU超阈值的共同检测以抑制误检；视觉彩色检测用轻量YOLO直接输出动态障碍物2D包围盒；LiDAR-视觉融合算法基于3D IoU匹配并合并检测结果，再利用彩色2D检测拆分被聚类合并的过大约束盒，并保留相机视野外的LiDAR检测；跟踪模块采用基于特征向量的数据关联（f(o_i)=[pos, dim, len, std]∈R^10，加权余弦相似度结合IoU校验）与卡尔曼滤波（恒加速度模型，核心预测方程 X_{t|t-1}=A X_{t-1}+Q）估计障碍物位置、速度与加速度，并通过彩色检测重投影IoU校验与速度阈值加逐点位移校验的双重互补判据将障碍物分类为静态或动态。由于KITTI、nuScenes等数据集面向室外且DOALS仅含LiDAR数据，作者构建了包含7个室内场景与2个动作捕捉实验、共635个标注帧的自定义数据集（以SUSTech POINTS工具人工标注），并在搭载Livox Mid-360 LiDAR、Intel Realsense D435i相机与NVIDIA Jetson Orin NX机载计算的四旋翼无人机上以ROS/C++实现系统，这些轻量廉价传感器与机载平台的选择正是为了验证方法在资源受限移动机器人上的可部署性。实验以精确率、召回率、F1与位置误差为指标，LV-DOT在IoU阈值0.3/0.5/0.7下均取得最高F1（0.794/0.764/0.641），优于Dynablox与M-detector基准，位置误差约0.09米，验证了融合策略与双重动态识别判据的有效性；消融实验表明视觉模块显著提升召回率、LiDAR模块提升精确率与定位精度；各模块运行时间（LiDAR检测8.34ms、视觉深度10.22ms、视觉彩色34.15ms约30Hz、融合0.40ms、跟踪2.29ms）可并行执行从而实现实时性能。物理实验（悬停机器人躲避接近行人、导航机器人绕过挡路行人）验证了真实场景下的安全导航可行性；局限在于障碍物过于贴近LiDAR且在相机视野外时易漏检、遮挡可能导致跟踪丢失，未来工作将进一步降低误检与漏检以提升可靠性。\n\n### 关键要点\n\n- LV-DOT框架利用LiDAR（360度长距离、深度精度高）与RGB-D相机（视觉特征丰富、近距离高频稠密）的互补优势实现轻量准确的动态障碍物检测与跟踪，并作为开源ROS包在GitHub上发布。\n- LiDAR检测模块通过距离滤波、基于概率 P_dist(p_i, p_robot)=exp(-||p_i-p_robot||_2/σ_dist²) 的距离降采样、体素滤波（点数上限3000）与DBSCAN聚类，从点云提取轴对齐的未分类3D障碍物包围盒。\n- 视觉深度检测采用集成检测方法，融合DBSCAN检测器与U-depth检测器结果，仅保留IoU超过阈值的共同检测并合并为最小外接包围盒，有效抑制深度噪声导致的误检。\n- 视觉彩色检测模块使用预训练轻量级YOLO算法，基于预定义类别直接在图像平面输出动态障碍物的2D包围盒。\n- LiDAR-视觉融合算法以3D IoU匹配视觉深度与LiDAR检测并计算最小外接盒合并，利用彩色2D检测拆分因聚类被合并的过大约束盒，同时保留相机视野外的LiDAR检测，且设计上支持多相机配置。\n- 跟踪模块为每个障碍物构建包含包围盒位置与尺寸及盒内点云长度和标准差的10维特征向量，采用加权余弦相似度结合IoU阈值进行数据关联，避免最近中心法的误匹配。\n- 卡尔曼滤波采用恒加速度模型（预测方程 X_{t|t-1}=A X_{t-1}+Q），结合由位置差分得到的速度与加速度观测，估计每个障碍物的位置、速度与加速度状态。\n- 动态障碍物识别采用双重互补判据：3D包围盒重投影与彩色2D检测的IoU校验，以及速度阈值结合逐点位移校验，任一满足即判为动态，提升分类鲁棒性。\n- 由于KITTI与nuScenes面向室外、DOALS仅含LiDAR数据，作者构建了7个室内场景加2个动作捕捉实验、共635个标注帧的自定义数据集，使用SUSTech POINTS工具以1秒间隔人工标注。\n- 基准评测中LV-DOT在IoU阈值0.3/0.5/0.7下取得最高F1（0.794/0.764/0.641），优于Dynablox与M-detector，平均位置误差约0.09米；M-detector精确率较低（常将静态误判为动态），Dynablox在轻量LiDAR稀疏点云下性能受限。\n- 消融实验表明移除视觉模块会降低召回率，移除LiDAR模块则精确率、召回率与位置误差显著恶化（IoU 0.3下F1仅0.292），验证了双传感器互补融合的必要性。\n- 系统在搭载Livox Mid-360、Intel Realsense D435i与Jetson Orin NX的四旋翼上以ROS/C++实现，各模块（LiDAR检测8.34ms、视觉深度10.22ms、视觉彩色34.15ms、融合0.40ms、跟踪2.29ms）并行运行实现实时性能；物理实验验证悬停躲避与路径遮挡场景下的安全导航，但障碍物过近LiDAR且在相机视野外时存在漏检、遮挡时可能丢失跟踪。"
}