
# 解锁广视场感知：一种用于鱼眼-LiDAR融合的鲁棒无标定框架

朱伟杰 $^{ID}$、单硕 $^{ID}$、张侃健 $^{ID}$、魏海坤 $^{ID}$

摘要—随着高性能传感器日益普及，3D场景重建正从以视觉为中心的神经表示向多模态LiDAR-相机融合方向转变，以确保绝对的度量一致性。然而，一个关键的结构性瓶颈依然存在：现有的LiDAR-相机标定（LCC）方法很少优先考虑硬件可扩展性和视场兼容性。尽管鱼眼镜头能为$360^{\circ}$扫描型LiDAR提供最佳的数据利用率，但其严重的光学畸变会破坏传统的跨模态对齐，导致常规的几何和统计范式失效。为填补这一缺口，我们提出了一种专为广视场鱼眼-LiDAR系统定制的鲁棒无标定框架。该方法引入了一种跨模态对齐策略，利用LiDAR的低反射边缘先验和自适应畸变建模，无需物理标定目标即可实现精确的2D到3D配准。通过大量实验验证了该方法的准确性，并借助FAST-LIVO2系统进行的动态场景重建进一步确认了其有效性。结果表明，该框架提供了一种可靠的、实时在线的LCC方法，能够支持实际应用中的全向感知硬件。

索引词—3D重建、标定、鱼眼-LiDAR融合、无标定、广视场（FoV）。

## 一、引言

自主智能体的感知能力决定了下游任务的性能上限，例如物体检测[^1]、地点识别[^2]、语义建图[^3]以及3D重建[^4]。随着任务复杂度的提升和安全要求的提高，LiDAR-惯性测量单元-视觉（LIV）融合已成为主流解决方案，它充分利用了LiDAR提供的精确深度测量数据、IMU提供的高频位姿估计信息以及相机提供的丰富语义信息[^5]。

![Image](images/b79b177ee8532999a70ffe7544205b0121083d3e8620e9bb7bef617de184b915.jpg)

<div style="text-align: center;">Fig. 1. Impact of hardware FoV compatibility on sensor fusion. (a) and (b) Suboptimal configurations with severely restricted FoV overlap due to conventional camera choices. (c) and (d) Optimal wide-FoV Fisheye-LiDAR setups [^9] that maximize structural correspondence for  $360^{\circ}$ perception.</div>

这类系统部署于从无人车辆[^6]、[^7]到手持扫描设备[^8]等各类平台上，其有效性从根本上取决于精确的LCC，只有LCC才能确保空间对齐和可靠的跨模态数据关联。

尽管LCC算法取得了显著进展，但一个关键的结构性瓶颈仍被忽视：即硬件配置与传感器视场（FoV）的重叠问题。算法设计很少优先考虑硬件可扩展性，导致实际应用中传感器配对并不理想[见图1(a)和(b)]。近年来，$360^{\circ}$扫描型LiDAR（如Livox Mid-360、Ouster）已成为行业标准。为实现这种全向感知，若采用标准针孔相机则需要复杂的多相机阵列[如图1(a)所示]，否则会导致视场重叠严重受限[见图1(b)]，进而使系统只能实现LiDAR-惯性里程计（LIO）[^10]，而非完整的LIV融合[^11]。相比之下，广视场鱼眼镜头天生就为$360^{\circ}$ LiDAR提供了最佳的视场融合能力和数据利用率[见图1(c)和(d)]。遗憾的是，鱼眼镜头的严重光学畸变带来了显著的几何复杂性，而现有的LCC方法完全无法支持这种最优的硬件配置。

---

从历史上看，LCC方法经历了基于目标、基于学习和无目标三种范式的演变，但它们在应用于大视场鱼眼相机与激光雷达融合时均存在根本性局限。早期的基于目标的方法[^12]、[^13]、[^14]利用预定义图案（如棋盘格）来提取几何约束，从而实现高精度校准。然而，在鱼眼相机与激光雷达系统中，严重的大角度畸变会扭曲结构特征，导致边缘直线性和平行性等关键几何假设不再成立。因此，基于目标的方法可能会丧失精度，无法在传感器受到干扰后快速进行现场重新校准。同样，虽然基于学习的方法[^15]、[^16]无需目标即可高效估计外参，但它们通常过度拟合于采用小视场针孔相机配置的标准数据集（如KITTI [^17]），一旦部署在定制的大视场硬件上，其泛化能力便会极差。

为了消除对人工目标和特定环境的依赖，利用自然场景结构的无目标LCC方法已成为主流研究方向[^18]。然而，在非结构化环境中实现稳健的跨模态特征提取仍是一项巨大挑战，尤其是在存在严重大角度畸变的情况下。现有的无目标范式在鱼眼相机与激光雷达场景中失效主要基于以下三个原因：

1) 基于互信息（MI）的方法[^19]依赖于图像灰度与激光雷达反射率之间的强相关性。大视场鱼眼图像中明显的灰度不一致性和严重的曝光差异会打破这一统计假设，从而导致校准失败。

2) 基于语义的方法[^20]、[^21]通过分割模型来关联特征，但密集的二维全景图像与稀疏的三维点云之间存在尺度不匹配和表示差异，导致特征关联性较弱。

3) 基于几何的方法[^22]侧重于边缘对齐，但传统的基于体素的边缘提取方法会在叶节点交点处产生过多噪声，而鱼眼畸变又会进一步加剧这一问题，最终导致配准偏差。

为填补这一关键缺口，我们提出了一种专为大视场鱼眼相机与激光雷达融合系统设计的高精度、鲁棒且无目标的外参LCC框架，该框架本质上也与标准的小视场针孔相机配置兼容。我们的框架引入了一种新颖的跨模态对齐策略，将激光雷达点云中低反射率边缘分布的先验信息与针对相机配置的定制化自适应畸变模型相结合。这种方法不仅消除了对物理校准目标的依赖，还从根本上解决了由严重鱼眼畸变引起的特征对齐难题。

此外，虽然传统的LCC算法主要在单帧静态场景上评估性能，但传感器融合的最终目标是支持对物理世界的连续动态重建。因此，我们直接将自校准参数作为最先进的FAST-LIVO2 [^23]系统的预设输入。通过在各种动态室内外扫描重建中进行全面的定性和定量分析，我们严格验证了校准精度。据作者所知，本研究是首批通过动态场景重建性能直接验证LCC精度的尝试之一。本文的主要贡献总结如下。

1) 一种无需标定物的外参LCC框架，旨在充分发挥广角鱼眼相机与激光雷达融合的数据利用潜力，同时完全向后兼容标准针孔相机。由于无需标定板，它为实际的即时部署提供了高度灵活的解决方案。

2) 一种新颖的跨模态特征对齐策略，能够有效整合激光雷达的低反射率边缘先验与自适应光学畸变模型。该策略从数学上解决了严重的鱼眼几何不匹配问题，从而实现高精度的二维到三维边缘特征关联。

3) 通过使用FAST-LIVO2系统 [^23] 对提出的框架进行静态评估和动态场景重建两方面的全面验证。在多种室内外场景中的大量实际应用表明，该框架在实际融合应用中具备出色的鲁棒性和卓越性能。

### 二、方法论

### A. 系统概述

为解决传统校准中视场重叠不足的问题，我们提出了一种专为广角感知设计的无需标定物的外参LCC框架。如图2所示，所提出的流程包含三个主要阶段：特征提取、几何关联和鲁棒位姿优化。

首先，系统处理来自各传感器的并行数据流。相机图像被输入基于Transformer的MuGE网络 [^24] 以提取连续的二维边缘特征，随后利用针对鱼眼镜头的KB模型 [^25] 或标准径向切向模型对图像进行畸变校正。与此同时，原始激光雷达点云会经过定制的低强度感知（LIP）模块过滤，以提取可靠的三维结构边缘。

其次，利用初始外参将提取的三维激光雷达边缘投影到二维图像平面上。为了建立准确的跨模态对应关系并剔除异常值，邻居搜索过程受到两个几何约束条件的严格限制：邻近性约束（$D_i^{LC} \leq \tau_d$）和正交性约束（$|n_i^C \cdot n_i^L| \geq \tau_\theta$）。

最后，为了计算最优的外参，我们摒弃传统的PnP方法，转而采用鲁棒的EPnP求解器。匹配的特征会经过控制点初始化以获得代数解，随后通过最小化点线残差并结合Huber损失函数 $\rho(\cdot)$ 来进行非线性优化。这确保了校准过程的高精度和稳定性。

---

![Image](images/d244dff93f318a542495dcb28185cf7dc33ed82b0e7d8b8b75528c5af41620d9.jpg)

<div style="text-align: center;">Fig. 2. System overview of the proposed targetless Fisheye-LiDAR calibration framework.</div>

即便在存在严重光学畸变和测量噪声的情况下，也能保证校准的准确性。

### B. 激光雷达点云特征提取

1) 激光雷达强度感知原理：激光雷达反射率（强度）是一种内在的测量属性，它对空间和材料变化具有高度敏感性，因此在结构边缘提取方面效果显著。如图3(a)中的建筑场景所示，物理边界处的强度值会出现明显波动。例如，不同的材料过渡区域（如局部特征A处的混凝土、玻璃和金属）会产生清晰的强度梯度；同样，剧烈的深度不连续处（如局部特征B处的柱子结构边缘）也会导致反射强度大幅下降。

这些波动源于发射的近红外激光光斑（通常为905 nm）的物理特性。当激光束照射到目标边界时，会发生部分遮挡和光束发散现象，进而导致反射能量降低并产生空间伪影 [^22]。基于这些物理光学特性，我们提出了低强度感知（LIP）原理，其概念性描述详见图3(b)。该原理将原始激光雷达点云系统划分为三种不同类型。

1) 真实世界点：指激光光斑完全接触目标且能无显著强度损失地返回激光信号的有效激光雷达点。

2) 低强度感知点：位于材料边界、颜色过渡区或前景结构边缘处的有效但强度衰减的测量点。由于边缘处的光束发生部分散射，这些点的反射强度较低，但空间位置仍准确。

3) 溢出点：在剧烈深度不连续处产生的错误伪影点。当物理激光光斑同时覆盖前景边缘和远处背景时，传感器会计算出错误的中间深度，从而在两个表面之间的空域中产生虚假的“幽灵”点。

![Image](images/33c2908ff1140cd8065913b05a08a44ac31cfe67da987d6c85ee09beb95eefcb.jpg)

![Image](images/aa226bf1f8936baf7d3a106ed835ae2f2d1212c837a5e69b78276459afdfde84.jpg)

<div style="text-align: center;">Fig. 3. (a) LiDAR intensity variations in an architectural scene. (b) Proposed LIP principle, illustrating how physical boundaries (color, material, and depth) dictate the categorization of LiDAR returns.</div>

2) 激光雷达强度的数学建模：为了通过算法实现LIP原理并自适应地将低强度点与真实世界点区分开来，我们对原始激光雷达强度分布的概率密度进行建模。

鉴于原始强度直方图本身具有离散性和噪声特性，我们采用高斯核密度估计（KDE）来重构平滑、连续的概率密度函数（PDF）。

---

![Image](images/73fe0799f50a49539241ffabb0479858d6007f587e506a93d93b040202fb4a37.jpg)

<div style="text-align: center;">Fig. 4. Determination of the intensity threshold  L via KDE under varying bandwidths  $(h)$, effectively extracting (a) the geometric skeleton from (b) the raw point cloud.</div>

鉴于原始强度直方图本身具有离散性和噪声特性，因此采用高斯核密度估计（KDE）来重构平滑且连续的概率密度函数（PDF）。

 $$ \hat{f}(x)=\frac{1}{N h\sqrt{2\pi}}\sum_{i=1}^{N}\exp\left(-\frac{(x-x_{i})^{2}}{2h^{2}}\right) $$

其中，$\hat{f}(x)$ 表示在强度值 x 处的估计概率密度，$\{x_i\}_{i=1}^N$ 代表来自点云的原始强度观测值集合，N 为点的总数，而 h 则是用于控制平滑程度的核带宽。如图 4 所示，Livox Mid-360 在室内场景中 30 秒的静态采集结果呈现出多模态的强度分布。低强度区域主要由结构边缘和深度不连续处产生的光束散射所致，它们在光谱低端形成一个明显的聚类。因此，我们数学上将自适应提取阈值 L 定义为估计概率密度函数 $\hat{f}(x)$ 的第一个局部最小值。满足 $x < L$ 条件的点被保留为有效的结构边缘候选点。在图示案例中，核密度估计精准地定位了位于 L = 33.5 处的这一物理边界。如图 4(a) 所示，应用该阈值成功从原始数据中分离出环境的几何骨架，如图 4(b) 所示。需要注意的是，这种基于强度的骨架提取方法本质上假设了宏观结构的连续性，因此对于典型的城市及室内场景极为有效，但对于结构碎片化程度高（如茂密植被）且几何特征本身较为稀疏的环境则适用性较差。

重要的是，第一个局部最小值的稳定性受核带宽 h 的强烈影响。过小的带宽会导致密度估计过于粗糙，出现虚假的局部最小值，从而干扰阈值的选取；反之，过大的带宽会使分布过度平滑，可能抹去区分低强度与高强度成分的关键“谷底”。为了确立一个具有普遍适用性的稳健超参数，我们在多种场景下进行了大量测试。如图 4(c) 和 (d) 的放大区域所示，当 h 在 1.25 到 2.25 之间以 0.25 为步长变化时，概率密度曲线均表现出极高的稳定性，第一个最小值的位置也保持恒定。因此，我们经验性地推荐将 $h \in [1.25, 2.25]$ 作为最佳工作范围。这一经过验证的范围能够确保强度阈值的可靠提取，无需针对每个场景反复调整参数，从而保障 LIP 模块的通用性。

3) 跨模态几何投影：通过 MuGE 网络提取的二维图像边缘特征以及通过 LIP 模块分离出的三维结构骨架，该框架的核心在于建立几何对应关系。为了弥合三维空间坐标与二维像素域之间的维度差距，必须将提取的激光雷达点云精确投影到相机图像平面上。

设经过筛选的三维激光雷达边缘点子集为 $\mathcal{P}^L = \{P_i^L \in \mathbb{R}^3\}_{i=1}^M$，其中 M 表示有效结构点的数量。首先，利用初始外部参数 $\mathbf{T}_{\text{init}} = [\mathbf{R}_{\text{init}} | \mathbf{t}_{\text{init}}] \in SE(3)$ 将这些点从激光雷达坐标系转换到相机坐标系。

 $$ \begin{array}{r}{P_{i}^{C}=\mathbf{R}_{\mathrm{i n i t}}P_{i}^{L}+\mathbf{t}_{\mathrm{i n i t}}=[X_{i}^{C},Y_{i}^{C},Z_{i}^{C}]^{T}.}\end{array} $$

接下来，转换后的三维点被映射到归一化的图像平面，并利用预先标定的相机内参矩阵 $\boldsymbol{K} \in \mathbb{R}^{3 \times 3}$ 将其转换为像素坐标。

 $$ \tilde{p}_{i}^{L}=\frac{1}{Z_{i}^{C}}\boldsymbol{K}P_{i}^{C}\in\mathbb{R}^{2} $$

其中，$Z_{i}^{C}$ 表示该点在相机坐标系中的深度。

此时，归一化的二维坐标 $\tilde{p}_i^L$ 遵循理想的针孔投影模型。但为了修正广角感知中固有的严重光学畸变，必须应用非线性畸变模型 $\mathcal{D}(\cdot)$ 才能得到最终的畸变像素坐标。

 $$ p_{i}^{L}=\mathcal{D}(\tilde{p}_{i}^{L}) $$

其中，$\mathcal{D}(\cdot)$ 代表用于鱼眼镜头的Kannala-Brandt（KB）模型[^25]，或是用于针孔镜头的标准径向-切向模型。这一严谨的投影过程构建了一个统一的二维空间域，为后续的几何特征匹配与姿态优化奠定了坚实基础。

4) 激光雷达边缘特征提取：关键在于，由于所提出的LIP模块已经从密集的原始点云中分离出了结构骨架，因此投影得到的二维坐标天然形成了稀疏、高对比度且几乎无噪声的边缘图。这一预处理步骤显著减轻了后续二维特征提取的计算负担。为了将这些离散的投影点参数化为连续的几何特征，我们采用了高效的EDLines算法[^26]。该算法在我们预先处理好的边缘图上运行，无需像处理原始图像时那样进行计算量庞大的密集梯度计算。它直接将相邻的投影像素连接成连续线段，并通过最小二乘优化来拟合几何线条。

为确保对残余投影噪声具有鲁棒性并防止过度检测，特征提取过程依赖于EDLines固有的“反事实”统计框架。只有当长度为n的拟合线段所对应的虚警次数（NFA）

---

![Image](images/44cbf5d3798f79e2062f4218b76cd98297957b69c89bc7e5ba58c58c53fdf7c6.jpg)

<div style="text-align: center;">(a) IMG Input</div>

![Image](images/99db8a611394a3ab4bf60ec26d49bc363a26000a49fe1cd5a51a08c68ddda4c9.jpg)

![Image](images/baeb8d915969bcf9ea042bb77976fb04c2e7a9cbd1bfefab9f225ea512ab0878.jpg)

<div style="text-align: center;">(b) Edge Extraction</div>

![Image](images/5467643fec437dafe5a87dbbce9b8f5f429b94811f4f5990073a5275e922020a.jpg)

<div style="text-align: center;">(c) KB for undistort</div>

<div style="text-align: center;">(d) IMG Undistort</div>

<div style="text-align: center;">Fig. 5. Key stages of image feature processing. (a) Original input image. (b) Edge extraction result using MuGE [^24]. (c) Checkerboard image captured for KB distortion parameter estimation. (d) Image after fisheye distortion removal.</div>

满足$\mathrm{NFA}(n, k) \leq 1$时，该线段才会被认定为有效。这种无需参数的验证机制能确保随机噪声模型下的误检数量被严格控制在最低水平。最终，这一高效的处理流程迅速将离散的激光雷达投影数据转化为鲁棒且参数化的二维线段，从而为后续与MuGE提取的相机边缘进行的跨模态匹配奠定理想的几何基础。

### C. 鱼眼图像处理

1) 鱼眼边缘提取：在激光雷达-相机融合系统中，精确的图像边缘提取是实现鲁棒跨模态特征对齐的前提。传统的基于梯度的检测器（如Canny算子）往往对超参数极为敏感，且常产生破碎的边界，这在鱼眼镜头造成的严重光学畸变环境下尤为突出。为克服这些局限并确保特征连续性，我们采用了最先进的基于Transformer的边缘检测网络MuGE[^24]。

该方法并非依赖局部强度梯度，而是利用全局上下文信息来预测边缘细节。通过在空间域和频率域上优化边缘表示，它既能有效保留细微的结构细节，又能抑制噪声。如图5(b)所示，基于Transformer的提取结果呈现出清晰、连续且分布均匀的边缘特征。这种高保真的轮廓映射提供了高度可靠的二维像素坐标，为后续与投影后的激光雷达点云进行几何特征关联奠定了坚实基础。

2) 鱼眼图像边缘畸变校正：在从鱼眼图像中提取边缘特征后，下一步便是解决由鱼眼镜头引入的畸变问题。由于鱼眼镜头具有宽视场角和桶形畸变特性，必须将提取出的边缘像素映射到无畸变的坐标系中，才能确保其与激光雷达数据的精确匹配。这一过程通过鱼眼KB畸变模型[^25]来实现，该模型用于校正畸变，使图像几何形状恢复为更自然、类似透视的形式。畸变校正首先需要将畸变的像素坐标$(u_d, v_d)$归一化到畸变平面上。随后利用相机内参$f_x$和$f_y$以及畸变参数$\alpha$、$c_x$、$c_y$对像素坐标进行变换。

   $$ \begin{bmatrix}x^{\prime}_{d}\\ y^{\prime}_{d}\end{bmatrix}=\begin{bmatrix}\left(u_{d}-c_{x}\right)/f_{x}-\alpha\left(v_{d}-c_{y}\right)/f_{y}\\ \left(v_{d}-c_{y}\right)/f_{y}\end{bmatrix} $$

其中$r_{d}=\sqrt{(x_{d}^{\prime})^{2}+(y_{d}^{\prime})^{2}}$和$\theta_{d}=r_{d}$。畸变角由下式给出：

 $$ \theta_{d}=\theta\left(1+k_{1}\theta^{2}+k_{2}\theta^{4}+k_{3}\theta^{6}+k_{4}\theta^{8}\right) $$

其中$\theta = \arctan(r)$，且$r = \sqrt{a^2 + b^2}$。由于该关系无法解析求解，我们采用牛顿法迭代求解$\theta$，初始值设为$\theta^{(0)} = \theta_d$。一旦获得无畸变角度$\theta$，便可还原归一化坐标。

 $$ \begin{bmatrix}a\\ b\end{bmatrix}=\frac{\tan\theta}{\theta_{d}}\begin{bmatrix}x^{\prime}_{d}\\ y^{\prime}_{d}\end{bmatrix},\quad(\theta_{d}>0). $$

最终，将无畸变的点重新投影到像素平面上$(u, v)$。

 $$ \begin{bmatrix}u\\ v\end{bmatrix}=\begin{bmatrix}f_{x}(a+\alpha b)+c_{x}\\ f_{y} b+c_{y}\end{bmatrix}. $$

在进行畸变校正前，需先拍摄一张棋盘格图像[如图5(c)所示]，以获取校正所需的KB参数$K = [k_1, k_2, k_3, k_4]$。这一校正过程确保了从鱼眼图像中提取的边缘能与透视几何结构良好对齐，从而为后续的激光雷达-摄像头融合任务提供更精确、稳定的特征匹配结果。通过校正鱼眼畸变，系统能够提升激光雷达与摄像头的对齐精度，进而在实际应用中实现更可靠的传感器融合性能。

### D. 边缘匹配与优化

将三维激光雷达结构边缘投影到二维图像平面后，该框架的最后阶段便是建立精确的跨模态对应关系，以优化外部参数$T_L^C$。

为了实现这两种模态间的几何关联并排除模糊匹配，我们采用了严格的几何约束邻域搜索机制。设$\mathbf{q}_i \in \mathbb{R}^2$表示具有局部法向量$\mathbf{n}_i^C$的摄像头边缘像素，$\mathbf{p}_j^L \in \mathbb{R}^2$表示具有由其局部邻域计算得出的法向量$\mathbf{n}_j^L$的投影激光雷达边缘点。对于每一个激光雷达点，我们都会寻找最近的摄像头边缘像素。只有当对应的匹配对$\{\mathbf{p}_j^L, \mathbf{q}_i\}$满足两个严格的几何条件时，才被视为有效匹配。

1) 邻近性约束：特征点之间的欧几里得像素距离必须低于某一阈值：$D_{ij}^{LC} = \|\mathbf{q}_i - \mathbf{p}_j^L\|_2 \leq \tau_d$。

2) 正交性约束：边缘的结构方向必须保持一致，这通过其法向量的点积来判定：$|\mathbf{n}_i^C \cdot \mathbf{n}_i^L| \geq \tau_\theta$。

一旦建立了有效的二维-三维几何关联，便可求解摄像头位姿。传统的透视-点（PnP）方法通过最小化点对点的投影误差来估算位姿，但对于边缘特征而言（特征点可沿轮廓滑动），这种方法并不理想，且对匹配错误极为敏感。因此，我们采用了高效的EPnP求解器，并结合鲁棒的点到线度量准则来进行计算。

---

![Image](images/63db6948f41a9657d227b97105284e3fde22258b10e16ae4ec89da20c0438b73.jpg)

<div style="text-align: center;">Fig. 6. Experimental scenarios and hardware setups. (a)–(c) Scenes captured with the handheld LiDAR-camera fusion system shown in (g). (d)–(f) Calibration dataset provided by Yuan et al. [^22], collected using the Livox Avia sensor with locally dense point clouds and Intel RealSense-D435i.</div>

首先，EPnP算法通过将匹配到的激光雷达点的三维坐标$^C P_i$重新参数化为四个虚拟控制点$c_k$的加权和，从而实现快速的代数初始化。

 $$ {}^{C}P_{i}=\sum_{k=1}^{4}\alpha_{i k}\mathbf{c}_{k}^{c}\quad\xrightarrow{\mathrm{S V D}}\quad\mathbf{T}_{\mathrm{i n i t}}. $$

通过奇异值分解（SVD）求解该线性系统，便可得到稳定的初始外参估计$T_{init}$。

为了对非线性的初始化结果进行优化，我们定义了投影算子$\Pi(\mathbf{T}, L P_i) = \pi(\mathbf{R} \cdot L P_i + \mathbf{t})$。投影后的激光雷达点与对应相机边缘线之间的正交点到线残差$r_i$可表示为：

 $$ \boldsymbol{r}_{i}=(\mathbf{n}_{i}^{C})^{\top}\left(\Pi(\mathbf{T},{}^{L}{P}_{i})-\mathbf{q}_{i}\right). $$

最后，为了减轻那些通过了初始几何验证的必然存在的错误对应点（离群点）的影响，我们使用鲁棒的Huber损失函数$\rho(\cdot)$来优化该残差。通过最小化这些鲁棒化后的正交距离之和，即可得到最优的外参变换$T^{*}$。

 $$ \mathbf{T}^{*}=\operatorname{a r g}\operatorname*{m i n}_{\mathbf{T}}\sum_{i}\rho(r_{i}^{2}). $$

这种鲁棒优化能有效抑制离群点，即便在严重的宽视场光学畸变条件下，也能收敛到高精度且稳定的激光雷达-相机对齐结果。

### 三、实验部分

### A. 实验设置与系统配置

为了全面评估所提出的无目标外参标定框架的准确性、鲁棒性以及

所提出的无目标外参LCC框架具备极高的通用性。

我们的主要测试平台是一套

多模态系统，该系统使用了定制的硬件[见图6(g)]，并基于公开

数据集[^22]进行测试。

我们的主要测试平台配备了一台

环视型Livox Mid-360激光雷达

与海康威视工业相机。为了严格

对比不同视场角配置下的性能，

这台相机配备了两种可更换镜头：

2.8毫米鱼眼镜头（LTCAM）和6.0毫米标准针孔镜头（MVL-HF0628 M）。

镜头的选择严格确保了成像圆直径大于相机传感器尺寸，从而有效

避免边缘暗角现象，保证特征提取的质量。

这种双镜头设置直接验证了我们的核心鱼眼-激光雷达融合算法，同时也证实了其与传统针孔-激光雷达系统的兼容性。

特征提取。这种双镜头设置直接验证了我们的……

这种双镜头设置直接验证了我们的核心鱼眼-激光雷达融合算法，同时也证实了其与传统针孔-激光雷达系统的兼容性。

这种双镜头设置直接验证了我们的核心鱼眼-激光雷达融合算法，同时也证实了其与传统针孔-激光雷达系统的兼容性。

除了定制测试平台外，我们还利用开源的Livox Calib数据集[^22]来验证该框架在不同商用架构上的普适性，该数据集包含Livox Avia激光雷达和Intel RealSense D435相机。此外，为了展示实际部署能力，我们将定制硬件集成到了运行FAST-LIVO2算法的手持平台上[^23]。该设置能够实现实时建图以及动态场景重建中的精确传感器同步。所有硬件配置的详细规格汇总于表I中。

### B. 宽视场融合的空间优势

开发我们的无目标外参LCC框架的主要动机，在于充分利用鱼眼相机与激光雷达融合相较于传统针孔相机的显著空间优势。虽然我们的方法天然支持这两种硬件配置，但广视场角系统在感知方面的优越性显而易见，如图7(a)所示。为定量验证这一点，我们依据表I所列的硬件规格进行了对比实验。在保持观测点固定且激光雷达积分时间恒定为20秒的条件下，我们分别采集了鱼眼镜头和针孔镜头的图像数据。

考虑到各镜头的焦距和视场角，鱼眼配置（2.8毫米，172.2° × 155.5°）在水平和垂直方向上的覆盖范围约为针孔镜头（6.0毫米，45.4° × 35.5°）的四倍。将我们的LCC流程应用于这两种配置后，生成的彩色融合点云如图7(b)和(c)所示：在相同的原始激光雷达输入下，鱼眼系统能够着色的环境区域面积约为针孔系统的两倍。这种有效覆盖范围的提升直接意味着可用于校准的有效边缘数量更多，进而能实现更密集的三维重建；且这一过程无需额外的计算或硬件成本，仅需更换镜头即可实现。

---

<div style="text-align: center;">TABLEI</div>

<div style="text-align: center;">DETAILED SPECIFICATIONS OF THE CUSTOM FISHEYE-LiDAR AND PINHOLE-LiDAR FUSION HARDWARE</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Parameter</td><td style='text-align: center; word-wrap: break-word;'>Specification</td></tr><tr><td colspan="2">LiDAR: Livox Mid-360</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Detection Range</td><td style='text-align: center; word-wrap: break-word;'>40 m @ 10% reflectivity\n70 m @ 80% reflectivity</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Scanning Frequency</td><td style='text-align: center; word-wrap: break-word;'>10 Hz</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Angular Resolution</td><td style='text-align: center; word-wrap: break-word;'>0.75°</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Field of View</td><td style='text-align: center; word-wrap: break-word;'>360° (H) $\times$ 59° (V) (-7° ~ 52°)</td></tr><tr><td colspan="2">Camera Body: Hikvision MV-CU050-90UC</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Resolution</td><td style='text-align: center; word-wrap: break-word;'>3072 $\times$ 2048</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Max Frame Rate</td><td style='text-align: center; word-wrap: break-word;'>59.8 FPS</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Target Sensor Size</td><td style='text-align: center; word-wrap: break-word;'>1/1.8&quot; (compatible with both lenses)</td></tr><tr><td colspan="2">Interchangeable Lenses</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Pinhole Lens</td><td style='text-align: center; word-wrap: break-word;'>MVL-HF0628M</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Focal Length</td><td style='text-align: center; word-wrap: break-word;'>6.0 mm</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Supported Resolution</td><td style='text-align: center; word-wrap: break-word;'>6 Megapixels (6MP)</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Field of View</td><td style='text-align: center; word-wrap: break-word;'>45.4° (H) $\times$ 35.5° (V)</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Fisheye Lens</td><td style='text-align: center; word-wrap: break-word;'>LTCAM</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Focal Length</td><td style='text-align: center; word-wrap: break-word;'>2.8 mm</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Supported Resolution</td><td style='text-align: center; word-wrap: break-word;'>10 Megapixels (10MP)</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Field of View</td><td style='text-align: center; word-wrap: break-word;'>172.2° (H) $\times$ 155.5° (V)</td></tr></table>

<div style="text-align: center;">(a)</div>

![Image](images/17de7907880e97a91b9a543084aaa57c20ad1ff3c95259808c8fddec04b48b52.jpg)

<div style="text-align: center;">Fig. 7. Comparison of LiDAR-Camera fusion performance under wide-FoV and narrow-FoV configurations. (a) Schematic of FoV overlap in different LiDAR–camera fusion configurations. (b) Colorized point cloud with wide-FoV fusion. (c) Colorized point cloud with narrow-FoV fusion.</div>

### C. 校准精度的定性评估

在明确了广视场角融合的系统级优势后，我们接下来定性评估支撑这一优势的底层校准精度。原始的激光雷达点云

![Image](images/cd8637606f14da7220b76523ffdb55e36ae9aa2f26a6a15710f546fe743ee555.jpg)

<div style="text-align: center;">Fig. 8. LiDAR reprojection and edge map visualization for natural scenes [see Fig. 6(a)–(f)]. Subfigures (a)–(f) show the LiDAR points re-projected onto images to verify cross-modal overlap, while subfigures (g)–(l) show edges extracted from low-reflectivity LiDAR points. This visualization highlights the spatial distribution of usable points for calibration and the quality of edge extraction under diverse natural scene conditions.</div>

利用我们提出的LCC框架估算出的外参，将原始激光雷达点云投影到对应的图像平面上，从而可以直接观察全局对齐效果。如图8(a)–(f)所示的六种不同类型的室内外场景中，该方法均实现了极高精度的全局点与像素配准。值得注意的是，无论处理具有严重广角鱼眼畸变的图像[见图6(a)–(c)]，还是畸变极小的标准窄视场角图像[见图(d)–(f)]，这种优异的性能都保持一致。这种鲁棒性和跨硬件兼容性，本质上源于该框架在优化过程中能够自适应地整合合适的相机畸变模型。

此外，图8(g)–(l)详细展示了投影后的激光雷达边缘特征。得益于精确的相机内参以及我们LIP策略中的低反射率过滤机制，这些投影后的边缘点能够精准分布在物理环境的结构轮廓上，尤其集中在材质过渡区和深度不连续处。这种分布均匀、质量优良的轮廓映射，显著提升了跨模态边缘提取的精度，进而保证了稳定的特征关联和可靠的校准效果。具体而言，图8(a)–(c)中室内门框和窗户的清晰对齐，以及图8(f)中完美重叠的$12 \times 8$目标轮廓，都为所提出的鱼眼-激光雷达融合框架的高精度和整体有效性提供了有力的视觉佐证。

---

<div style="text-align: center;">TABLE II</div>

<div style="text-align: center;">QUANTITATIVE COMPARISON WITH STATE-OF-THE-ART TARGETLESS LCC METHODS ACROSS SIX SCENES</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td rowspan="2">Scene</td><td colspan="5">$e_t$ (cm)</td><td colspan="5">$e_R$ (deg)</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>E2E [^27]</td><td style='text-align: center; word-wrap: break-word;'>Yuan [^22]</td><td style='text-align: center; word-wrap: break-word;'>MFCalib [^28]</td><td style='text-align: center; word-wrap: break-word;'>MI [^19]</td><td style='text-align: center; word-wrap: break-word;'>Proposed</td><td style='text-align: center; word-wrap: break-word;'>E2E [^27]</td><td style='text-align: center; word-wrap: break-word;'>Yuan [^22]</td><td style='text-align: center; word-wrap: break-word;'>MFCalib [^28]</td><td style='text-align: center; word-wrap: break-word;'>MI [^19]</td><td style='text-align: center; word-wrap: break-word;'>Proposed</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>1</td><td style='text-align: center; word-wrap: break-word;'>18.1773</td><td style='text-align: center; word-wrap: break-word;'>40.6789</td><td style='text-align: center; word-wrap: break-word;'>562.8807</td><td style='text-align: center; word-wrap: break-word;'>23.6289</td><td style='text-align: center; word-wrap: break-word;'>3.1031</td><td style='text-align: center; word-wrap: break-word;'>5.6165</td><td style='text-align: center; word-wrap: break-word;'>11.7615</td><td style='text-align: center; word-wrap: break-word;'>42.0981</td><td style='text-align: center; word-wrap: break-word;'>12.8246</td><td style='text-align: center; word-wrap: break-word;'>4.8147</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>2</td><td style='text-align: center; word-wrap: break-word;'>108.2611</td><td style='text-align: center; word-wrap: break-word;'>38.0540</td><td style='text-align: center; word-wrap: break-word;'>243.9871</td><td style='text-align: center; word-wrap: break-word;'>29.6135</td><td style='text-align: center; word-wrap: break-word;'>3.8172</td><td style='text-align: center; word-wrap: break-word;'>15.6488</td><td style='text-align: center; word-wrap: break-word;'>4.1293</td><td style='text-align: center; word-wrap: break-word;'>10.4631</td><td style='text-align: center; word-wrap: break-word;'>13.4812</td><td style='text-align: center; word-wrap: break-word;'>4.6793</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>3</td><td style='text-align: center; word-wrap: break-word;'>77.6996</td><td style='text-align: center; word-wrap: break-word;'>29.1524</td><td style='text-align: center; word-wrap: break-word;'>27.8424</td><td style='text-align: center; word-wrap: break-word;'>32.7572</td><td style='text-align: center; word-wrap: break-word;'>3.3498</td><td style='text-align: center; word-wrap: break-word;'>7.5039</td><td style='text-align: center; word-wrap: break-word;'>12.4386</td><td style='text-align: center; word-wrap: break-word;'>5.6350</td><td style='text-align: center; word-wrap: break-word;'>4.7553</td><td style='text-align: center; word-wrap: break-word;'>4.6481</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>4</td><td style='text-align: center; word-wrap: break-word;'>57.6281</td><td style='text-align: center; word-wrap: break-word;'>17.8874</td><td style='text-align: center; word-wrap: break-word;'>346.7258</td><td style='text-align: center; word-wrap: break-word;'>27.4982</td><td style='text-align: center; word-wrap: break-word;'>5.1587</td><td style='text-align: center; word-wrap: break-word;'>8.1573</td><td style='text-align: center; word-wrap: break-word;'>8.9114</td><td style='text-align: center; word-wrap: break-word;'>15.3716</td><td style='text-align: center; word-wrap: break-word;'>18.6548</td><td style='text-align: center; word-wrap: break-word;'>3.4279</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>5</td><td style='text-align: center; word-wrap: break-word;'>67.8275</td><td style='text-align: center; word-wrap: break-word;'>23.7853</td><td style='text-align: center; word-wrap: break-word;'>178.2489</td><td style='text-align: center; word-wrap: break-word;'>24.7259</td><td style='text-align: center; word-wrap: break-word;'>5.9157</td><td style='text-align: center; word-wrap: break-word;'>8.8561</td><td style='text-align: center; word-wrap: break-word;'>5.4112</td><td style='text-align: center; word-wrap: break-word;'>12.8159</td><td style='text-align: center; word-wrap: break-word;'>22.9184</td><td style='text-align: center; word-wrap: break-word;'>5.8342</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>6</td><td style='text-align: center; word-wrap: break-word;'>74.2985</td><td style='text-align: center; word-wrap: break-word;'>21.1579</td><td style='text-align: center; word-wrap: break-word;'>279.5928</td><td style='text-align: center; word-wrap: break-word;'>30.5280</td><td style='text-align: center; word-wrap: break-word;'>6.6390</td><td style='text-align: center; word-wrap: break-word;'>17.6542</td><td style='text-align: center; word-wrap: break-word;'>7.7561</td><td style='text-align: center; word-wrap: break-word;'>16.3591</td><td style='text-align: center; word-wrap: break-word;'>25.5172</td><td style='text-align: center; word-wrap: break-word;'>5.7228</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Avg.</td><td style='text-align: center; word-wrap: break-word;'>67.3153</td><td style='text-align: center; word-wrap: break-word;'>28.4527</td><td style='text-align: center; word-wrap: break-word;'>273.2175</td><td style='text-align: center; word-wrap: break-word;'>28.1253</td><td style='text-align: center; word-wrap: break-word;'>4.6639</td><td style='text-align: center; word-wrap: break-word;'>10.5728</td><td style='text-align: center; word-wrap: break-word;'>8.4014</td><td style='text-align: center; word-wrap: break-word;'>17.1235</td><td style='text-align: center; word-wrap: break-word;'>16.3586</td><td style='text-align: center; word-wrap: break-word;'>4.8545</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Std. Dev.</td><td style='text-align: center; word-wrap: break-word;'>26.9004</td><td style='text-align: center; word-wrap: break-word;'>8.4536</td><td style='text-align: center; word-wrap: break-word;'>163.0109</td><td style='text-align: center; word-wrap: break-word;'>3.2044</td><td style='text-align: center; word-wrap: break-word;'>1.3287</td><td style='text-align: center; word-wrap: break-word;'>4.4474</td><td style='text-align: center; word-wrap: break-word;'>3.0402</td><td style='text-align: center; word-wrap: break-word;'>11.7068</td><td style='text-align: center; word-wrap: break-word;'>6.9233</td><td style='text-align: center; word-wrap: break-word;'>0.7983</td></tr></table>

最佳结果以粗体显示（单个场景为绿色，统计指标为红色）。

### D. 无目标校准性能基准测试

正如引言中所讨论的，大多数现有的无目标LCC方法本质上都假设采用标准的针孔投影模型，且无法原生支持广角鱼眼图像。为了确保进行严格公平且严谨的定量比较，在利用基线算法处理之前，会先使用KB模型（如第II-C2节所述）对原始鱼眼图像进行去畸变处理。我们将所提出的框架与四种最先进的無目标方法进行了基准测试，这些方法根据其核心对齐机制可分为：基于互信息的[^19]、基于几何边缘对齐的[^22]和[^27]，以及基于反射率-深度融合的[^28]方法。为清晰起见，所有基线方法均使用其各自的最优参数或官方推荐参数运行；所有方法均采用相同的初始条件、图像分辨率和点云预处理方式；并且所有方法输入的都是经过相同去畸变处理的图像，从而确保去畸变操作不会使任何基线方法占据优势或处于劣势。这些评估是在图6(a)–(f)所示的六种不同自然场景上进行的。

校准精度通过两个标准指标进行定量评估：平移误差$e_{t}$和旋转误差$e_{R}$ [^29]，其定义如下：

 $$ \boldsymbol{e}_{t}=||\boldsymbol{t}\hat{}-\boldsymbol{t}|| $$

 $$ e_{R}=\arccos\left(\frac{\operatorname{tr}\left(\boldsymbol{R}\cdot\hat{\boldsymbol{R}}^{-1}-1\right)}{2}\right) $$

其中，$\hat{R}$和$\hat{t}$分别表示估计的旋转矩阵和平移向量，而R和t则代表表征激光雷达与相机光心之间空间变换的相应真实外部参数。对于实验中使用的定制硬件装置，精确的真实参数是根据CAD数据物理测量得出的，具体如下：

 $$ \boldsymbol{R}=\begin{bmatrix}0&-1.0000&0\\ 0.2079&0&-0.9781\\ 0.9781&0&0.2079\end{bmatrix},\quad\boldsymbol{t}=\begin{bmatrix}0\\ 0.065\\ 0.082\end{bmatrix}. $$

基于已确定的真实值和评估指标，表II总结了所有评估方法在六种自然场景下的定量校准误差。

![Image](images/ada21710e3d855ff2dd7daf73a580c5054c78f8334ae2ef98ebfeec28f250ecf.jpg)

<div style="text-align: center;">Fig. 9. LiDAR–camera calibration results obtained by the proposed method and baseline approaches: E2E [^27], Yuan et al. [^22], MFCalib [^28], and MI [^19]. Columns from left to right correspond to each method. The visualization demonstrates cross-modal alignment quality, showing that the proposed method achieves more complete and accurate feature correspondence in natural scenes.</div>

所提出的無目标外参LCC框架表现出卓越的性能，其平均旋转误差低至$4.85^{\circ}$（标准差为$0.80^{\circ}$），平均平移误差为4.66厘米（标准差为1.33厘米）。

为了清晰展示我们的方法与基线方法之间的性能差异，图9展示了三种鱼眼场景下的对比重投影可视化结果，尤其是在严重的广角畸变情况下。关键在于，定量指标与这些定性视觉结果高度吻合。例如，在场景2中，E2E方法出现了显著的旋转误差（15.65°）和平移误差（108.26厘米）。这种数值上的偏差与对应放大重投影图中明显的校准漂移和边缘错位现象完全一致（见图9，第4行第1列）。

最终，无论从绝对精度还是跨场景稳定性（由最小的标准差体现）来看，

---

![Image](images/0815426eb1d9a1d3c2064b899b433745083c7f043c203489bb35b0aaf70f1577.jpg)

![Image](images/f980cc40a0ac5aa0887d9394d1776c318a0dfa190f756becab8130654bb6a1e0.jpg)

![Image](images/1a03f2f3b2d4147f66661403c12d92397d01d98db691470453fbcf651c156efa.jpg)

![Image](images/39b047ed254a2d628fdf4b1d5f3589d04a69c947747ee5d5fb5db02e5f37438e.jpg)

![Image](images/1d123b0fb9f1a237e14e152909d68e7b5d855bc608ba87c3f8dc3ee5fa0dc668.jpg)

![Image](images/ee4a8049c818acb55e1848ef01d7e64ab0a3b585ea3f998358855d050c35771c.jpg)

![Image](images/b9cd1cd0aacbe1768d5842734686ee7a87cbfae502b7cd9bf6e3d163ffd52c98.jpg)

<div style="text-align: center;">Fig. 10. Colored point cloud maps reconstructed by FAST-LIVO2 using extrinsics from the proposed wide-FoV targetless extrinsic LCC framework. (a) Long wall. (b) School history museum. (c) Classroom. (d) Ancient architecture. For each scene (a1–a3, b1–b3, c1–c3, d1–d3), results compare wide- and narrow-FoV lenses under identical integration time, where the first row shows the camera views and the second row shows the reconstructed point clouds.</div>

所提出的方法都明显优于现有的最先进技术。通过在鱼眼和针孔两种模式下均展现出出色的鲁棒性，该框架有效填补了广角鱼眼激光雷达融合系统中無目标校准领域的关键技术空白。

### E. 真实世界建图实验

在图6(g)所示的手持式激光雷达-相机平台上，首先利用所提出的无靶标外参标定框架进行了外参标定。为了验证宽视场角传感的可行性，我们部署了FAST-LIVO2 [^23]算法来进行实际场景测绘，并借鉴FAST-LIVO [^9]的思路实现了严格的硬件级同步。实时处理是在ASUS NUC 13 Pro上完成的。我们选取了四种具有代表性的场景进行评估，包括长墙、学校历史博物馆、教室和古建筑，分别对应图10(a)–(d)。在每个场景中，随机选取三个视角进行静态扫描实验，并在相同的20秒激光雷达集成时间内，比较使用窄视场角与宽视场角镜头所获得的测绘结果。所有实验都是在利用所提出的无靶标外参标定框架完成两种镜头设置校准之后进行的。

实验结果给出了两个关键发现。首先，从场景完整性角度来看，重建的地图保留了局部色彩细节和结构纹理，这证明了所提方法的高标定精度。此外，在所有四个场景中，重建的点云在使用同一套标定后的外参时，都能实现约5–30米的有效深度覆盖，表明该标定结果在不同环境中具有良好的泛化能力。其次，在相同条件下对比窄视场角与宽视场角镜头，可以明显看出宽视场角配置能实现更完整的原始点云融合效果，从而充分发挥激光雷达-相机融合技术在扩展感知范围方面的潜力。这些发现证实了所提出的宽视场角激光雷达-相机融合系统的实用性与重要性。

### F. 消融实验

为了评估所提出的LIP模块在特征提取阶段的有效性，我们在六个场景中开展了消融实验。如图11所示，包含全部模块的BASE方法，其平均旋转误差和平移误差分别为$4.85^{\circ}$和4.66厘米。移除LIP模块后，旋转误差和平移误差增加到了$6.51^{\circ}$。

---

![Image](images/aec184a908c2dda011503dd54ecf911bb8a69c7618f70ea8dc0542bcf830f1c1.jpg)

![Image](images/21a263174fc80a6d4c1e7aa656770a8d76aa5365b0bc47819359f51816f34125.jpg)

<div style="text-align: center;">Fig. 11. Rotation error (left) and translation error (right) across six scenes for BASE, BASE without LIP, and BASE without Undistortion. Each line represents one method, illustrating the impact of removing each module on calibration accuracy.</div>

<div style="text-align: center;">TABLE III</div>

<div style="text-align: center;">COMPUTATION TIME STATISTICS FOR EACH MODULE OF THE PROPOSED METHOD, INCLUDING CEE, LEE, ROUGH CALIBRATION (FEATURE MATCHING), AND REFINED CALIBRATION (EPNP OPTIMIZATION)</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td rowspan="2">Scene</td><td colspan="2">Loading (s)</td><td colspan="4">Core Algorithm Time (s)</td><td style='text-align: center; word-wrap: break-word;'>Total (s)</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>IMG</td><td style='text-align: center; word-wrap: break-word;'>PCD</td><td style='text-align: center; word-wrap: break-word;'>CEE</td><td style='text-align: center; word-wrap: break-word;'>LEE</td><td style='text-align: center; word-wrap: break-word;'>Rough</td><td style='text-align: center; word-wrap: break-word;'>Refine</td><td style='text-align: center; word-wrap: break-word;'>-</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>scene1</td><td style='text-align: center; word-wrap: break-word;'>0.034</td><td style='text-align: center; word-wrap: break-word;'>4.522</td><td style='text-align: center; word-wrap: break-word;'>0.054</td><td style='text-align: center; word-wrap: break-word;'>0.233</td><td style='text-align: center; word-wrap: break-word;'>1.978</td><td style='text-align: center; word-wrap: break-word;'>4.143</td><td style='text-align: center; word-wrap: break-word;'>10.964</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>scene2</td><td style='text-align: center; word-wrap: break-word;'>0.036</td><td style='text-align: center; word-wrap: break-word;'>4.978</td><td style='text-align: center; word-wrap: break-word;'>0.052</td><td style='text-align: center; word-wrap: break-word;'>0.209</td><td style='text-align: center; word-wrap: break-word;'>2.467</td><td style='text-align: center; word-wrap: break-word;'>4.818</td><td style='text-align: center; word-wrap: break-word;'>12.560</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>scene3</td><td style='text-align: center; word-wrap: break-word;'>0.035</td><td style='text-align: center; word-wrap: break-word;'>5.217</td><td style='text-align: center; word-wrap: break-word;'>0.046</td><td style='text-align: center; word-wrap: break-word;'>0.435</td><td style='text-align: center; word-wrap: break-word;'>2.551</td><td style='text-align: center; word-wrap: break-word;'>5.956</td><td style='text-align: center; word-wrap: break-word;'>14.240</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>scene4</td><td style='text-align: center; word-wrap: break-word;'>0.032</td><td style='text-align: center; word-wrap: break-word;'>11.126</td><td style='text-align: center; word-wrap: break-word;'>0.039</td><td style='text-align: center; word-wrap: break-word;'>0.541</td><td style='text-align: center; word-wrap: break-word;'>6.174</td><td style='text-align: center; word-wrap: break-word;'>11.320</td><td style='text-align: center; word-wrap: break-word;'>29.232</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>scene5</td><td style='text-align: center; word-wrap: break-word;'>0.034</td><td style='text-align: center; word-wrap: break-word;'>11.178</td><td style='text-align: center; word-wrap: break-word;'>0.037</td><td style='text-align: center; word-wrap: break-word;'>0.338</td><td style='text-align: center; word-wrap: break-word;'>3.072</td><td style='text-align: center; word-wrap: break-word;'>6.430</td><td style='text-align: center; word-wrap: break-word;'>21.089</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>scene6</td><td style='text-align: center; word-wrap: break-word;'>0.032</td><td style='text-align: center; word-wrap: break-word;'>11.135</td><td style='text-align: center; word-wrap: break-word;'>0.027</td><td style='text-align: center; word-wrap: break-word;'>0.306</td><td style='text-align: center; word-wrap: break-word;'>2.992</td><td style='text-align: center; word-wrap: break-word;'>6.184</td><td style='text-align: center; word-wrap: break-word;'>20.676</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Average</td><td style='text-align: center; word-wrap: break-word;'>0.034</td><td style='text-align: center; word-wrap: break-word;'>8.026</td><td style='text-align: center; word-wrap: break-word;'>0.043</td><td style='text-align: center; word-wrap: break-word;'>0.344</td><td style='text-align: center; word-wrap: break-word;'>3.206</td><td style='text-align: center; word-wrap: break-word;'>6.475</td><td style='text-align: center; word-wrap: break-word;'>18.127</td></tr></table>

所提方法的总耗时情况如下所示。

以及8.91厘米。虽然旋转误差增幅不大，但平移误差却增加了约4厘米，明显降低了标定精度。这一结果凸显了LIP模块在为边缘提取过程提供高质量特征信息方面的重要性。

同样，使用鱼眼及轻微畸变的针孔图像进行无畸变模块的消融实验时，平移误差显著增大，平均值达到了13.67厘米。这表明为了维持精确的标定，畸变校正甚至比LIP模块更为关键。总体而言，这些结果证明所提框架中的每个模块对准确的激光雷达-相机标定都做出了重要贡献：LIP模块优化了特征提取输入，而无畸变模块则确保了在图像存在畸变的情况下仍能实现可靠的几何对齐。

### G. 计算效率分析

我们在配备NVIDIA GeForce RTX 4090 GPU、Intel Core i9-13900K CPU以及16GB内存的工作站上评估了所提出的校准流程的运行时间。表III总结了各场景的计算时间，该表将总延迟拆分为数据加载、核心算法模块[相机边缘提取（CEE）、激光雷达边缘提取（LEE）、基于特征匹配的粗略校准，以及通过EPnP优化实现的精细校准]和总耗时。如表所示，点云加载构成了主要的I/O瓶颈：场景1~3的加载时间为4.522~5.217秒，场景4~6更是达到11.178秒；这种差异源于公开数据集中的点云密度高于自行采集的场景。相比之下，所有场景下图像加载产生的开销微乎其微（约0.03秒）。

在核心处理步骤中，基于EPnP的精细化阶段计算量最大，平均耗时6.475秒；其次是粗略校准阶段，耗时3.206秒；而相机和激光雷达的边缘提取模块运行时长极短，均不足0.4秒。总处理时间介于10.964秒到29.232秒之间，平均为18.127秒。值得注意的是，由于公开数据集中的点云规模更大、几何结构更复杂，会对特征匹配和优化带来更重的负担，因此来自该数据集的场景始终会产生更高的延迟。总体而言，该流程的运行时间特性适合离线校准，目前已识别出点云I/O和精细化阶段的瓶颈。这些发现为加速提供了明确方向，例如采用策略性的点云下采样或并行化EPnP计算。

### 四、结论

本文提出了一种无需靶标的LCC方法，该方法利用传感器间的视场重叠特性来支持宽视场感知。所提出的激光雷达-相机融合系统有效整合了环形点云和鱼眼图像这两种宽视场传感数据，为处理传感器配置不匹配或欠佳的场景提供了思路。通过与现有最先进的无需靶标LCC方法进行大量定性和定量对比，结果表明所提方法能达到较高的校准精度，十分适用于宽视场场景。实际测绘实验验证了校准后外参的跨场景泛化能力：使用同一组参数即可在不同场景中保持稳定的性能，证明了其在多变环境下的强鲁棒性和泛化能力。

## 参考文献

[^1]: H. Xu, S. Huang, Y. Yang, X. Chen, and S. Hu, “Deep learning-based pedestrian detection using RGB images and sparse LiDAR point clouds,” IEEE Trans. Ind. Informat., vol. 20, no. 5, pp. 7149–7161, May 2024.

[^2]: J. Ma, G. Xiong, J. Xu, and X. Chen, "CVTNet: A cross-view transformer network for LiDAR-based place recognition in autonomous driving environments," IEEE Trans. Ind. Informat., vol. 20, no. 3, pp. 4039–4048, Mar. 2024.

[^3]: J. S. Berrio, M. Shan, S. Worrall, and E. Nebot, “Camera-LiDAR integration: Probabilistic sensor fusion for semantic mapping,” IEEE Trans. Intell. Transp. Syst., vol. 23, no. 7, pp. 7637–7652, Jul. 2022.

[^4]: W. Zhen, Y. Hu, J. Liu, and S. Scherer, “A joint optimization approach of LiDAR-camera fusion for accurate dense 3-D reconstructions,” IEEE Robot. Autom. Lett., vol. 4, no. 4, pp. 3585–3592, Apr. 2019.

[^5]: S. Li, X. Li, S. Chen, Y. Zhou, and S. Wang, “Two-step LiDAR/camera/IMU spatial and temporal calibration based on continuous-time trajectory estimation,” IEEE Trans. Ind. Electron., vol. 71, no. 3, pp. 3182–3191, Mar. 2024.

[^6]: W. Yang et al., “Autonomous–targetless extrinsic calibration of thermal, RGB, and LiDAR sensors,” IEEE Trans. Instrum. Meas., vol. 73, 2024, Art. no. 4510011, doi: 10.1109/TIM.2024.3480237.

[^7]: D. Cattaneo and A. Valada, "CMRNext: Camera to LiDAR matching in the wild for localization and extrinsic calibration," IEEE Trans. Robot., vol. 41, pp. 1995–2013, 2025.

## [^8]: B. Zhou, C. Zheng, Z. Wang, F. Zhu, Y. Cai, and F. Zhang, "FAST-LIVO2 on resource-constrained platforms: LiDAR-inertial-visual odometry with efficient memory and computation," IEEE Robot. Autom. Lett., vol. 10, no. 8, pp. 7931–7938, Aug. 2025

---

[^9]: C. Zheng, Q. Zhu, W. Xu, X. Liu, Q. Guo, and F. Zhang, "FAST-LIVO: Fast and tightly-coupled sparse-direct LiDAR-inertial-visual odometry," in Proc. IEEE/RSJ Int. Conf. Intell. Robots Syst. (IROS), 2022, pp. 4003–4009.

[^10]: W. Xu, Y. Cai, D. He, J. Lin, and F. Zhang, “FAST-LIO2: Fast direct LiDAR-inertial odometry,” IEEE Trans. Robot., vol. 38, no. 4, pp. 2053–2073, Apr. 2022.

[^11]: L. Gong et al., “precise SLAM: Robust, real-time, LiDAR-inertial-ultrasonic tightly-coupled SLAM with ultraprecise positioning for plant factories,” IEEE Trans. Ind. Informat., vol. 20, no. 6, pp. 8818–8827, Jun. 2024.

[^12]: L. Zhou, Z. Li, and M. Kaess, “Automatic extrinsic calibration of a camera and a 3D LiDAR using line and plane correspondences,” in Proc. IEEE/RSJ Int. Conf. Intell. Robots Syst. (IROS), 2018, pp. 5562–5569.

[^13]: G. Koo, J. Kang, B. Jang, and N. Doh, “Analytic plane covariances construction for precise planarity-based extrinsic calibration of camera and LiDAR,” in Proc. IEEE Int. Conf. Robot. Autom. (ICRA), 2020, pp. 6042–6048.

[^14]: C. Zheng and F. Zhang, "FAST-Calib: LiDAR-camera extrinsic calibration in one second," 2025, [Online]. Available: <https://www.sciencedirect.com/science/article/pii/S0167865511001772>

[^15]: G. Iyer, R. K. Ram, J. K. Murthy, and K. M. Krishna, “CalibNet: Geometrically supervised extrinsic calibration using 3D spatial transformer networks,” in Proc. IEEE/RSJ Int. Conf. Intell. Robots Syst. (IROS), 2018, pp. 1110–1117.

[^16]: X. Lv, B. Wang, Z. Dou, D. Ye, and S. Wang, "LCCNet: LiDAR and camera self-calibration using cost volume network," in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. Workshops (CVPRW), 2021, pp. 2888–2895.

[^17]: A. Geiger, P. Lenz, and R. Urtasun, “Are we ready for autonomous driving? The KITTI vision benchmark suite,” in Proc. Conf. Comput. Vis. Pattern Recognit. (CVPR), 2012.

[^18]: S. Li, X. Li, S. Chen, Y. Zhou, and S. Wang, “Targetless spatiotemporal calibration of multi-LiDAR multi-IMU system based on continuous-time optimization,” IEEE Trans. Ind. Informat., vol. 20, no. 5, pp. 7565–7575, May 2024.

[^19]: G. Pandey, J. R. McBride, and R. M. Eustice, “Automatic calibration of LiDAR and camera images using normalized mutual information,” in Proc. IEEE Int. Conf. Robot. Autom. (ICRA), 2013, pp. 613–619.

[^20]: Y. Zhu, C. Li, and Y. Zhang, “Online camera-LiDAR calibration with sensor semantic information,” in Proc. IEEE Int. Conf. Robot. Autom. (ICRA), 2020, pp. 4970–4976.

[^21]: A. Kirillov et al., “Segment anything,” in Proc. IEEE/CVF Int. Conf. Comput. Vis. (ICCV), 2023, pp. 3992–4003.

[^22]: C. Yuan, X. Liu, X. Hong, and F. Zhang, “Pixel-level extrinsic self calibration of high resolution LiDAR and camera in targetless environments,” IEEE Robot. Autom. Lett., vol. 6, no. 4, pp. 7517–7524, Apr. 2021.

[^23]: C. Zheng et al., “FAST-LIVO2: Fast, direct LiDAR-inertial-visual odometry,” IEEE Trans. Robot., vol. 41, pp. 326–346, 2025.

[^24]: C. Zhou, Y. Huang, M. Pu, Q. Guan, R. Deng, and H. Ling, “MuGE: Multiple granularity edge detection,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), 2024, pp. 25952–25962.

[^25]: J. Kannala and S. Brandt, “A generic camera model and calibration method for conventional, wide-angle, and fish-eye lenses,” IEEE Trans. Pattern Anal. Mach. Intell., vol. 28, no. 8, pp. 1335–1340, Aug. 2006.

[^26]: C. Akinlar and C. Topal, “Edlines: A real-time line segment detector with a false detection control,” Pattern Recognit. Lett., vol. 32, no. 13, pp. 1633–1642, 2011. [Online]. Available: <https://www.sciencedirect.com/science/article/pii/S0167865511001772>

[^27]: W. Zhu, S. Shan, C. Tong, K. Zhang, and H. Wei, “Targetless automatic edge-to-edge extrinsic calibration of LiDAR-camera system based on pure laser reflectivity,” IEEE Trans. Instrum. Meas., vol. 74, 2025, Art. no. 8507714.

[^28]: T. Ye, W. Xu, C. Zheng, and Y. Cui, “MFCalib: Single-shot and automatic extrinsic calibration for LiDAR and camera in targetless environments based on multi-feature edge,” in Proc. IEEE/RSJ Int. Conf. Intell. Robots Syst., 2024, pp. 864–871, doi: 10.1109/IROS58592.2024.10802395.

[^29]: S. Xing, F. Jing, and M. Tan, “Reconstruction-based hand-eye calibration using arbitrary objects,” IEEE Trans. Ind. Informat., vol. 19, no. 5, pp. 6545–6555, May 2023.
