{
  "paper_id": "a4d18c6e72fb1d7908c78805b1a08ab2",
  "paper_title": "Unlocking Wide-FoV Perception: A Robust Targetless Sensor Calibration Framework for Fisheve-LiDAR Fusion",
  "paper_authors": [
    "Weijie Zhu",
    "Shuo Shan",
    "Kanjian Zhang",
    "Haikun Wei"
  ],
  "publication_date": "2025",
  "publication_venue": "IEEE Transactions on Industrial Informatics",
  "abstract": "Driven by the increasing accessibility of high-performance sensors, 3-D scene reconstruction is transitioning from vision-centric neural representations toward multimodal LiDAR-camera fusion to ensure absolute metric consistency. However, a critical structural bottleneck remains: existing LiDAR-camera calibration (LCC) methods rarely prioritize hardware scalability and field-of-view compatibility. Although fisheye lenses provide optimal data utilization for 360° scanning LiDARs, their severe optical distortion disrupts traditional cross-modal alignment, causing conventional geometric and statistical paradigms to fail. To bridge this gap, we propose a robust, targetless calibration framework specifically tailored for wide-FoV Fisheye-LiDAR systems. Our approach introduces a cross-modal alignment strategy that leverages LiDAR low-reflectivity edge priors and adaptive distortion modeling, achieving precise 2D-to-3D registration without physical targets. The accuracy of the method is demonstrated through extensive experiments and further validated via dynamic scene reconstruction using the FAST-LIVO2 system. The results indicate that this framework provides a reliable, on-the-fly LCC method to support omnidirectional perception hardware in practical applications.",
  "keywords": [
    "3-D reconstruction",
    "calibration",
    "fisheye-LiDAR fusion",
    "targetless",
    "wide field of view (FoV)"
  ],
  "paper_institutions": [],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:43:12.916373Z",
  "template_tag": "simple",
  "summary": "### 摘要\n本文针对360°扫描LiDAR与相机融合中硬件视场兼容性这一结构性瓶颈，提出了一种面向广角鱼眼-激光雷达系统的鲁棒无标定板外参标定（LCC）框架。历史上LCC方法历经基于标靶、基于学习与无标靶三种范式，但基于互信息的方法依赖图像强度与LiDAR反射率的强相关假设、语义方法存在稠密2D全景图与稀疏3D点云间的尺度失配、几何边缘方法在鱼眼畸变下因体素边缘提取噪声过大而发散，均难以支持这一最优硬件配置。该框架引入跨模态对齐策略：利用LiDAR低反射率边缘先验（LIP模块基于高斯核密度估计自适应确定强度阈值L，保留x<L的结构边缘候选点）与自适应畸变模型（鱼眼采用KB模型、针孔采用径向-切向模型）相结合；图像边缘由Transformer网络MuGE提取，LiDAR投影点经EDLines参数化为线段，特征匹配受近邻约束（D≤τ_d）与正交约束（|n^C·n^L|≥τ_θ）双重几何验证，最终以EPnP求解器提供代数初始化，并通过最小化带Huber鲁棒损失的正交点到线残差 r_i=(n_i^C)^T(Π(T, P_i^L)−q_i) 进行非线性优化，即 T*=argmin_T Σ_i ρ(r_i²)。实验采用自建硬件平台（Livox Mid-360 LiDAR搭配Hikvision工业相机，配备2.8 mm鱼眼镜头172.2°×155.5°与6.0 mm针孔镜头45.4°×35.5°双可换镜头，以验证鱼眼-激光雷达融合核心并确认对针孔系统的向后兼容性）及公开Livox Calib数据集（Livox Avia与Intel RealSense D435i，验证跨架构泛化能力），以CAD物理测量外参为真值，采用平移误差e_t与旋转误差e_R两项指标评估；结果表明该方法在六个自然场景中取得平均旋转误差4.85°（标准差0.80°）与平均平移误差4.66 cm（标准差1.33 cm），显著优于E2E、Yuan、MFCalib与MI等最先进无标靶方法，消融实验进一步证明LIP模块与畸变校正模块对精度的实质贡献。将自标定参数作为FAST-LIVO2系统预设输入的动态场景重建（长墙、校史馆、教室、古建筑四场景，有效深度覆盖约5–30 m）验证了标定精度与跨场景泛化能力。计算效率分析显示点云加载与EPnP精化为主要瓶颈（平均总耗时18.127 s），未来可通过点云降采样或并行化EPnP计算加速。该方法适用于手持扫描设备与无人平台等实际部署场景，但其强度骨架提取假设宏观结构连续性，对茂密植被等高度碎片化环境适用性受限，且当前运行特性适合离线标定。\n\n### 关键要点\n- 问题动机：360°扫描LiDAR（如Livox Mid-360、Ouster）已成行业标准，标准针孔相机与其配合需复杂多相机阵列或导致FoV重叠严重受限，而广角鱼眼镜头虽能最优利用数据，其严重光学畸变却使传统几何与统计对齐范式失效。\n- 方法核心：提出无标靶外参标定框架，将LiDAR低反射率边缘先验（LIP模块）与自适应畸变建模（鱼眼KB模型、针孔径向-切向模型）相结合，无需物理标定板即可实现精确2D-3D配准，并保持对标准针孔相机的完全向后兼容。\n- LIP物理原理：基于近红外激光光斑（约905 nm）在目标边界处部分遮挡与光束发散导致回波能量降低的物理特性，将原始点云分为真实点、低强度感知点（位于材料边界、颜色过渡或前景结构边缘且空间位置准确）与拖影点三类。\n- 自适应阈值：采用高斯核密度估计（KDE）重建强度概率密度函数，以第一个局部极小值为提取阈值L（示例场景定位在L=33.5），经多场景评估推荐带宽h∈[1.25, 2.25]以保证无需逐场景调参的泛化性。\n- 图像边缘处理：使用基于Transformer的MuGE网络提取连续、均匀分布的2D边缘特征，随后通过KB畸变模型（以Newton迭代求解无畸变角θ）将鱼眼边缘像素映射至无畸变坐标系以保障匹配精度。\n- 匹配与优化：几何约束近邻搜索以近邻约束（D_ij≤τ_d）与正交约束（|n_i^C·n_i^L|≥τ_θ）双重准则剔除歧义匹配，EPnP经SVD提供稳定初始外参，再以Huber鲁棒损失最小化点到线残差完成非线性精化。\n- 实验设置：自建平台为Livox Mid-360搭配Hikvision相机（2.8 mm鱼眼172.2°×155.5°与6.0 mm针孔45.4°×35.5°双镜头），并使用Livox Avia与Intel RealSense D435i的公开数据集验证跨架构泛化性，真值外参由CAD物理测量获得。\n- 定量结果：六个自然场景中平均旋转误差4.85°（标准差0.80°）、平均平移误差4.66 cm（标准差1.33 cm），全面优于E2E、Yuan、MFCalib与MI四类最先进无标靶基线，且定量指标与重投影可视化结果高度一致。\n- FoV优势：相同LiDAR积分时间（20 s）下，鱼眼配置的水平/垂直覆盖约为针孔镜头四倍，可为相同原始点云着色约两倍环境面积，仅通过简单更换镜头即可获得更多可用边缘与更稠密的3D重建。\n- 动态验证：将自标定外参作为FAST-LIVO2系统预设输入，在长墙、校史馆、教室与古建筑四场景的实时建图中保持约5–30 m有效深度覆盖与局部颜色细节，验证了跨场景泛化与实用部署能力。\n- 消融实验：移除LIP模块使旋转/平移误差升至6.51°与8.91 cm，移除畸变校正使平均平移误差升至13.67 cm，表明畸变校正对维持精确标定尤为关键。\n- 效率与约束：在RTX 4090平台上平均总耗时18.127 s（点云加载4.5–11.2 s与EPnP精化平均6.475 s为主要瓶颈），适合离线标定；方法假设宏观结构连续性，对茂密植被等高度碎片化环境适用性受限。"
}