{
  "paper_id": "e49a94f9a20406ac7cd85593f78f0364",
  "paper_title": "Lidar-Monocular Visual Odometry using Point and Line Features",
  "paper_authors": [
    "Shi-Sheng Huang",
    "Ze-Yu Ma",
    "Tai-Jiang Mu",
    "Hongbo Fu",
    "Shi-Min Hu"
  ],
  "publication_date": "",
  "publication_venue": "2020 IEEE International Conference on Robotics and Automation (ICRA)",
  "abstract": "We introduce a novel lidar-monocular visual odometry approach using point and line features. Compared to previous point-only based lidar-visual odometry, our approach leverages more environment structure information by introducing both point and line features into pose estimation. We provide a robust method for point and line depth extraction, and formulate the extracted depth as prior factors for point-line bundle adjustment. This method greatly reduces the features' 3D ambiguity and thus improves the pose estimation accuracy. Besides, we also provide a purely visual motion tracking method and a novel scale correction scheme, leading to an efficient lidar-monocular visual odometry system with high accuracy. The evaluations on the public KITTI odometry benchmark show that our technique achieves more accurate pose estimation than the state-of-the-art approaches, and is sometimes even better than those leveraging semantic information.",
  "keywords": [
    "视觉里程计",
    "激光雷达-视觉融合",
    "点线特征",
    "束调整",
    "尺度校正",
    "回环闭合"
  ],
  "paper_institutions": [],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:30:23.155035Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文解决激光雷达-单目视觉里程计中仅依赖点特征导致环境结构信息利用不足、位姿估计精度受限的问题。相关研究中，V-LOAM等紧耦合融合算法缺少优化后端，DEMO、LIMO和DVL-SLAM虽引入束调整后端但均基于稀疏点特征，精度仍不理想，且LIMO还需计算代价高昂的额外语义信息。为此，作者提出首个以纯几何方式联合点特征（ORB）与线特征（LSD检测、LBD描述）的激光雷达-单目视觉里程计系统，包含帧间里程计、尺度校正优化、点线束调整与回环闭合等模块；其核心机制是从激光雷达数据中鲁棒提取点与线的深度先验，并将其作为先验因子加入点线束调整的成本函数 $E=\\sum_{\\{T_i,T_j\\}\\subset\\mathcal{T}}e^{pose}_{i,j}+\\sum_{P_i\\in\\mathcal{P}}\\sum_{T_j\\in\\mathcal{T}}e^{P}_{i,j}+\\sum_{L_i\\in\\mathcal{L}}\\sum_{T_j\\in\\mathcal{T}}e^{L}_{i,j}$（由相对位姿因子、点重投影因子与线重投影因子构成），从而大幅降低特征的3D歧义性并提升位姿估计精度。实验选用含真值轨迹的公开KITTI里程计基准训练集（序列00-10）以定量评估精度，并选用无回环路径的NuScenes Part I子集（80个场景）以排除回环闭合影响；系统基于ORB-SLAM2实现，采用PCL库中的NDT进行点云ICP对齐，运行于Intel i7-2600 CPU、8G内存的64位Linux平台。结果表明，完整系统在KITTI上取得平均平移误差0.94%、旋转误差0.0036 deg/m，优于DEMO（1.14%/0.0049）和DVL-SLAM（0.98%/0.0040），与需语义信息的LIMO（0.93%/0.0026）相当且在序列00、04上更优；消融实验验证了深度先验模块（误差从3.64%降至0.94%）与尺度校正模块（从1.95%降至0.94%）的关键贡献，点线结合亦将纯点特征基线的2.16%误差降至0.94%。未来可探索融合车辆里程计因子、处理标定误差与传感器近似同步、引入语义信息及平面/平行/正交等结构先验。该方法适用于机器人、虚拟现实与自动驾驶等现实场景，但受限于快速车速或大旋转下跟踪易失败、纯几何方法无法处理动态物体、约5Hz的处理速率以及尚未建模的标定与时间同步误差。\n\n### 关键要点\n\n- 提出首个以纯几何方式联合点与线特征的激光雷达-单目视觉里程计方法，通过引入线特征利用更多环境结构信息，且无需额外语义信息。\n- 系统框架包含三个线程：帧间运动跟踪前端、基于关键帧的点线束调整后端，以及基于词袋（DBoW）的回环闭合线程。\n- 特征提取采用ORB点特征（每帧1000个）与LSD线段检测器加LBD描述子，并提出线段链接与合并策略（如距离阈值10px）以改善LSD将长线打断、近邻线段冗余的问题。\n- 深度先验提取中，点深度通过邻域patch内前景点拟合平面与特征射线求交获得；线深度通过最小化能量 $L^{*}_{j}=\\arg\\min_{L_j}\\sum_i d(p_i,L_j)+e(L_j,l_j)$ 估计对应3D线，并采用Plücker坐标与正交表示参数化，由Levenberg-Marquardt算法求解。\n- 深度先验被公式化为点线束调整中的先验因子（如点的立体重投影误差、线端点先验距离），避免仅依赖可能歧义的3D三角化，显著降低特征3D歧义性。\n- 尺度校正优化利用关键帧间ICP对齐得到的相对位姿，通过图优化（g2o）调整新关键帧位姿及相关3D点线路标，有效抑制尺度漂移，将平移误差从1.95%降至0.94%。\n- 在KITTI训练集上，完整系统平均平移误差0.94%、旋转误差0.0036 deg/m，优于DEMO（1.14%/0.0049 deg/m）和DVL-SLAM（0.98%/0.0040 deg/m），与使用语义信息的LIMO（0.93%/0.0026 deg/m）精度相当。\n- 消融实验表明深度先验模块贡献最大（平移误差从3.64%降至0.94%），点线结合相比纯点特征基线将误差从2.16%降至0.94%。\n- 在NuScenes Part I子集（80个单向无回环测试场景）上评估，平均平移误差2.4%、旋转误差0.0007 deg/m，并展示了点线检测中间结果与基于估计位姿的点云重建。\n- 系统在纯CPU平台（Intel i7-2600、8G内存）上达到约5Hz处理速率，与LIMO借助GPU平台达到的速率相同；最耗时的ICP对齐仅在关键帧间执行（每次约300ms）。\n- 局限性包括：车辆速度快或大旋转时跟踪可能失败（如序列01）、纯几何方法无法处理汽车和行人等动态物体、未考虑标定参数误差与激光雷达-相机近似同步误差。\n- 未来工作方向包括融合车辆里程计传感器数据作为束调整因子、引入语义信息处理动态物体，以及探索平面先验与平行、正交、共面等结构规则。"
}