文章 # 基于激光雷达-相机融合测绘与深度学习分割方法的桥梁几何形状测量 蒋尚 $^{1,*}$，杨一帆 $^{1}$，顾思阳 $^{2}$，李佳慧 $^{1}$，侯颖燕 $^{3}$ 南通大学交通运输与土木工程学院，江苏南通 226019； （Y.Y.）；（J.L.） 2. 东南大学土木工程学院，江苏南京 211189； $^{3}$ 认知与应用技术重点实验室，航天信息研究院，北京 100190，中国； 通讯作者： 查看更新 摘要：桥梁三维几何形状的快速测量对于评估施工质量及在役结构状况至关重要。现有的几何形状测量方法主要依赖传统测量仪器，存在效率低下且只能进行稀疏点采样的问题。本研究提出了一种新框架，利用机载激光雷达-相机融合系统进行数据采集，通过实时测绘重建高精度三维桥梁模型，并借助深度学习自动提取结构几何形状。主要贡献如下：（1）研发了集成无人机（UAV）与微处理器的同步激光雷达-相机融合系统，能够实现桥梁图像与点云的灵活、大规模采集；（2）采用了结合视觉惯性里程计（VIO）与激光雷达惯性里程计（LIO）的多传感器融合测绘方法，可稳健地实时构建三维桥梁点云；（3）提出了基于实例分割网络的方法以检测图像中的关键结构构件，利用激光雷达-相机标定参数将检测到的几何形状从图像坐标投影到三维空间，解决了大规模点云自动化分析的难题。通过在一座混凝土拱桥上的几何形状测量验证了所提方法的有效性。结果表明，与倾斜摄影测量方法相比，该方法可将误差降低77.13%，其检测时间仅为固定式激光扫描仪所需时间的4.18%，为倾斜摄影测量所需时间的0.29%。 学术编辑：Giuseppe·Uva 引用：Jiang, S.; Yang, Y.; Gu, S.; Li, J.; Hou, Y. 基于激光雷达-相机融合测绘与深度学习分割方法的桥梁几何形状测量。《Buildings》2025年，第15卷，1458页。 版权所有：© 2025 作者。 出版方：MDPI，瑞士巴塞尔。 本文为开放获取文章 依据知识共享协议的条款与 条件发布。 署名许可（CC BY） ( ()。 收稿日期：2025年3月18日 修订日期：2025年4月20日 接受日期：2025年4月23日 发表日期：2025年4月25日 关键词：桥梁几何形状；激光雷达；点云；三维重建；深度学习 ## 1. 引言 桥梁几何形状的测量是贯穿桥梁全生命周期的关键内容，包括施工阶段、荷载试验过程以及运营阶段。然而，桥梁结构通常具有跨度大、高度高的特点，这给其几何形状的快速精准测量带来了严峻挑战。现有的几何形状测量方法依赖全站仪的人工操作来进行逐点测量。这种方法简单可靠，在测量公里级桥梁时误差可控制在厘米级。但其缺点是需人工预先布置反射棱镜，在测量大跨度桥梁的几何形状时，这种方式既危险又耗时。此外，这种逐点测量方法只能获取少量测点数据，因此可能无法监测到未布置测量点的某些位置的变形情况。 --- 测点数量有限，因此可能无法监测那些未布置测量点的区域的变形情况。 近年来，基于视觉和雷达的非接触式测量方法发展迅速，为桥梁检测带来了效率和精度的提升，这些方法已广泛应用于桥梁表面缺陷检测[^1]、桥梁变形测量[^2]、缆索张力检测[^3]以及桥梁三维模型重建[^4]。不过，从算法原理来看，此类变形监测方法得到的是桥梁形态的时间变化信息，而非绝对几何状态的量化结果。要测量桥梁的三维几何形状，前提是获取结构的高保真三维点云数据。常用的三维点云获取技术包括基于立体视觉的方法[^5]、基于结构光的方法[^6]、基于激光扫描的方法[^7]以及基于毫米波雷达的方法[^8]。用于获取三维信息的设备包括搭载测绘相机的无人机、立体视觉扫描仪、结构光扫描仪、三维激光雷达以及毫米波雷达系统[^9] [^10]。其中，毫米波雷达获取的点云密度通常较为稀疏，因此一般不用于大场景的精细三维重建。基于立体视觉原理或结构光原理的三维扫描仪通常具有基线短、精度高、帧率高的特点，但一般仅能用于室内环境下的高精度小体积三维扫描[^11]。基于无人机摄像头的多视角图像三维重建是一种广泛应用于结构检测的三维重建方法，其成本远低于其他方法。不过，该方法的重建精度会受到相机质量、光照条件、阴影遮挡以及图像重叠率等多种因素的影响，大规模三维重建的精度很难达到厘米级，且重建算法往往极为耗时[^4]。 三维激光扫描具有速度快、非接触、主动获取点云、密度高以及点云质量精度高等特点。主要的扫描类型分为静态地面激光扫描（TLS）和移动动态扫描两类。在静态TLS应用中，需要在桥梁周边及桥面区域战略性地布置多个扫描站。每个扫描站分别进行局部扫描，随后将所有站点采集的数据集整合为统一的点云。对于大跨度桥梁而言，这种方法往往需要设置超过30个扫描站，从而导致野外作业时间大幅延长。数据采集完成后，还需通过人工或自动化的点云配准流程来处理，这会显著增加时间成本。例如，Lin等人[^12]采用TLS技术对桥梁进行扫描，扫描耗时3小时，最终得到的桥梁点云密度达到了每平方米7700点。由于三维激光扫描可分为静态扫描与移动动态扫描两类，因此大规模桥梁点云数据采集主要采用这两种扫描方法。在静态扫描中，需在桥梁周围及桥面上设立多个测量站，各站分别扫描后再进行数据拼接。大跨度线性桥梁通常需设置超过30个扫描站，这一过程十分耗时。Lu等人提出了一种自上而下扫描策略，并在10多座公路桥上进行了测试，结果显示17次扫描会话的平均扫描时间为2.8小时[^13]。Mohammadi等人利用TLS扫描Werrington桥，共获取5.25亿个点，所需存储空间约为15GB[^14]。扫描结束后，需要对各站点的点云进行人工或自动化配准以使其对齐，这一过程依然颇为费时费力。尽管自动化配准方法已经出现， --- 例如Shao等人提出了一种无需标记物的方案，该方案结合结构光扫描仪（SLS）与TLS点云数据，用迭代最近点（ICP）算法取代基于标记物的粗配准步骤以实现更精确的对齐，从而将每个站点的配准时间缩短至2分钟$^{[15]}$。不过，现有方法往往依赖额外的传感器或目标物，且在处理海量点云时存在局限性$^{[16]}$。近年来，车载$^{[17]}$、无人机搭载$^{[18]}$以及手持式$^{[19]}$激光扫描仪在动态扫描领域的应用日益广泛。这些配备激光雷达的移动平台可沿预设路线在桥梁上方飞行来重建桥梁模型，同时利用惯性导航系统（INS）和GPS数据来计算飞行轨迹并拼接时序点云。例如，Zhu等人研究了基于无人机的激光雷达与RGB图像融合技术在桥梁重建中的应用，证实其能够提供精确的空间信息，不过仍需后续处理才能实现点云对齐$^{[20]}$。Li等人通过融合无人机影像与TLS点云，成功构建了高精度桥梁模型（整体精度达1.70厘米）$^{[21]}$。虽然动态扫描能显著缩短野外作业时间，但后期对齐处理仍至关重要，尤其是对于基于INS的系统而言，定位误差会降低重建精度。例如，INS估算的无人机位置往往会累积较大误差，进而导致模型保真度下降。因此，研发专为桥梁设计的高效且可靠的激光扫描设备，以及先进的点云配准方法，已成为重要的研究方向。 在获取桥梁的三维点云后，如何从海量三维点云中快速、自动地提取关键桥梁构件的线性排列信息便成为研究的重点。黄等人提出了一种利用无人机激光雷达边缘计算和4G实时传输的电力线检测方法。该方法首先借助语义特征约束，将电力线走廊中的激光点分类为地面、植被、杆塔、电缆和建筑物等类型，随后利用训练好的深度学习模型进一步识别杆塔类型，以实现应力跨距的分离 [^22]。第二个挑战在于从桥梁点云中分割出特定构件的点云。例如，提取索夹的点云并算出其中心坐标，就能得到电缆的线性排列信息。徐等人开发了一种用于桥梁三维重建的深度学习预分割方法，以检测电缆排列情况。他们的方法首先运用基于深度学习的物体检测技术结合欧几里得聚类算法，自动生成索夹的裁剪子图像集；接着采用基于三维到二维网格投影的图像掩膜生成技术，保留可用于相机位姿估计的有效像素 [^23]。金等人也提出了类似的桥梁桥墩与梁段分割方法：先对三维重建图像进行深度学习分割，再将分割结果投影到基于图像重建的三维点云上 [^24]。在激光雷达数据的点云分割方面，夏等人提出了一种结合局部描述符与机器学习的桥梁结构构件自动检测方法。他们根据桥梁的几何特征设计了多尺度局部描述符，用于训练深度分类神经网络，在混凝土梁桥测试中达到了97.26%的准确率 [^25]。杨等人开发了加权超点图（WSPG）方法，可直接从大规模桥梁点云中识别构件。该方法先将桥梁点云聚类为数百个语义上同质的超点，再利用PointNet和图神经网络将其分类为不同的桥梁构件，在真实和合成数据集上的准确率均达到99.43% [^26]。景等人提出了BridgeNet，这是一种用于砌体拱桥自动分割的三维深度学习神经网络，在合成数据集的训练和测试中，其平均交并比最高可达94.2% [^27]。 虽然这些研究表明基于深度学习的点云分割方法能够取得令人满意的准确率，但当前研究仍面临两个显著局限。 --- 首先，由于数据稀缺，大多数研究依赖合成数据集，每个数据集仅包含数千个桥梁点云，这与实际激光雷达获取的含有数亿个点的桥梁点云相比差距巨大。其次，算法的计算效率问题尚未得到充分解决。实际应用表明，使用三维深度学习方法处理含有数千万个点的桥梁点云时，对图形处理器（GPU）内存的需求极大；即便是处理点数不足140万的桥梁点云，也需要超过30分钟的时间。因此，开发计算需求更低、效率更高的算法来处理大规模真实桥梁点云，仍是另一项重要的研究挑战。 基于上述综述，本研究提出了一种用于快速三维桥梁重建的摄像头-激光雷达融合框架，以及一种用于桥梁构件的点云分割方法，以便高效测量桥梁的几何线性度。该方法主要包含三项创新：(1) 开发了一种集成激光雷达、摄像头和惯性测量单元（IMU）的多传感器采集系统，该系统配备了专为无人机部署设计的嵌入式实时重建处理器，能够执行动态大规模扫描。(2) 实现了一种视觉-激光雷达里程计同步定位与地图构建（SLAM）算法，可在动态扫描过程中同步处理点云和图像数据，从而实现点云的实时拼接与可视化。(3) 提出了一种基于图像-点云特征匹配的深度学习分割方法，能够从重建的点云中自动提取桥梁构件，进而快速完成结构元素的几何测量。 本研究其余部分的结构安排如下：第2节介绍了所提出的基于激光雷达与摄像头融合的桥梁几何形状测量方法的总体框架；第3节阐述了所设计的系统；第4节介绍了基于激光雷达与摄像头融合的三维重建方法；第5节通过实地测试一座桥梁来验证所提出的方法；第6节则总结了本研究的主要结论。 ### 2. 所提方法的框架 所提方法的核心在于开发一套激光雷达、摄像头和IMU融合系统，以实现桥梁三维点云的快速动态重建。同时，提出了一种基于学习的图像分割网络，利用摄像头与激光雷达之间的匹配关系，从点云中自动提取桥梁的关键构件。如图1所示，可进一步提取这些构件的三维线形。基于此，所提方法可分为三个部分：建立多传感器融合数据采集系统、基于图像与激光点云融合的映射方法，以及基于图像分割的桥梁构件点云提取方法。 第一部分旨在解决两项关键技术难题：多传感器融合系统中的时间同步问题以及系统的全面校准。时间同步是通过一个由全球导航卫星系统（GNSS）同步的处理单元来实现的，该单元为摄像头和激光雷达数据流打上时间戳，随后再根据各传感器的采样率进行时间对齐。校准过程包含三个关键步骤：(1) 进行相机内参校准以修正镜头畸变；(2) 进行激光雷达-IMU校准，以补偿动态操作过程中产生的点云失真；(3) 进行跨传感器校准，以确定摄像头与激光雷达系统之间的精确外参。只有完成这些同步与校准流程后，所采集的数据才能被有效用于后续的传感器融合和高精度映射操作。 --- 所采集的多模态数据才能被有效用于后续的传感器融合和高精度映射操作。 ![Image](images/dc1c1dd328ff0d6946fad60aa4359a875928e265b26f842680ab45b4cc4f609e.jpg)
Figure 1. Framework of the proposed method.
第二部分重点是利用预处理后的传感器数据来重建桥梁的三维点云。与传统基于激光雷达的测绘方法不同，该方法采用了一种双里程计框架，将视觉惯性观测（VIO）与激光雷达惯性观测（LIO）有机结合。研究人员开发了一种紧密耦合的融合框架，用以整合两种模态的位姿估计结果，从而充分利用视觉数据在近距离范围内特征丰富、激光雷达点云在远距离下空间约束精度更高的互补优势。这种混合架构显著提升了系统在六自由度（DoF）位姿估计中的鲁棒性，并能生成全局一致的三维点云模型。 第三部分侧重于从采集到的桥梁图像中自动识别桥梁构件、对这些构件进行分割，并通过图像与点云对齐技术将其二维坐标转换到桥梁的全局三维坐标系中。具体而言，研究首先提出了一种基于深度学习的图像分割技术，用于从初始阶段获取的大量图像中自动分割出桥梁接缝；随后利用每张图像与其对应的激光点云数据之间的空间对应关系，得出每个分割部分的三维点云表示，再从对应的点云中提取构件的三维坐标。通过这一流程整合所有检测到的构件坐标，便可重构出整个桥梁结构的几何形状。 ### 3. 激光雷达-相机融合测量系统的搭建 相机作为常用的测量设备，已经发展成熟。因此，本研究采用工业相机作为图像采集传感器。 --- 激光雷达作为一种精密测量传感器，传统上成本较高：一些固定式高精度激光雷达扫描仪的价格超过数十万美元，而手持式动态激光扫描仪通常也要数万美元。近年来，随着自动驾驶技术的快速发展，低成本传感器级激光雷达相继问世，使得激光雷达的广泛应用成为可能。值得注意的是，Livox系列激光雷达售价仅几百美元，其非重复扫描模式在低速移动扫描时能产生与更昂贵扫描仪相当的点云密度。基于这些优势，本研究选用Livox激光雷达作为低成本扫描系统中的扫描传感器。 具体来说，所采用的工业相机为配备5毫米焦距镜头的HIKROBOT MV-CE120-10UC，能够拍摄分辨率为$4000 \times 3036$像素的图像。所选用的激光雷达单元为Livox Avia，其扫描距离超过190米，点云密度达到每秒24万点，还集成了分辨率达0.09毫克的BMI088惯性测量单元。该系统还配备了用于点云和图像存储与处理的处理单元，本研究使用的处理器为Intel NUC12，配置有i5-12500H CPU、16GB随机存取存储器（RAM）以及256GB存储空间。 为了减轻系统重量并便于安装在无人机上，上述激光雷达和摄像头通过3D打印的框架连接在一起。用于数据分析的处理器被放置在无人机的下部，以平衡无人机的重心。搭载完整系统的无人机是来自中国深圳大疆创新科技有限公司的M300 RTK无人机，其续航时间约为35分钟。完整的数据采集系统如图2所示。 ![Image](images/21aac5e4cc32b3d2becabf79b3befa0b83323d42c8ef79b5b8304f5a49340f6b.jpg) ![Image](images/7c302f7971016668c15e77bcbe2138649b44a5ad2796b7b0f9b0b3c52d9f79b3.jpg)
Figure 2. The developed unmanned airborne LiDAR camera fusion system.
传感器校准是测量前的基础工作，本研究采用的方法涉及三种传感器：激光雷达、摄像头和惯性测量单元（IMU），因此每种传感器都需要先分别进行校准。对于数码相机而言，可根据不同的相机型号和校准工具，选用多种校准方法。其中，张氏校准法是最常用的校准方法之一；在本研究中，便采用张氏校准法来校准相机的内部参数矩阵。 关于激光雷达的校准，由于本研究的3D重建涉及动态场景，即无人机在激光扫描过程中会持续运动，因此会产生以下挑战：激光雷达在采集每一段点云数据时，需要在特定的时间间隔内累积激光回波。在此间隔内，无人机的运动会导致每个点云帧内各点的坐标系发生偏移， --- 进而造成失真。为解决这一问题，必须在测量前通过激光雷达与惯性测量单元之间的校准，消除激光雷达数据中的运动引起的失真。 与传统的旋转式机械激光雷达系统不同，本研究采用的Livox激光雷达采用了半固态设计，内置旋转棱镜机构。该设计通过多个棱镜的精准协同旋转来投射激光束，从而形成预定的扫描轨迹。虽然其成本远低于传统旋转式机械激光雷达，但其扫描机制存在本质差异——采用非重复扫描模式。这种非重复扫描能够根据积分时间的长短实现逐步的视场覆盖。当积分时间为100毫秒时，其点云覆盖范围可与传统的32线激光雷达相当。此外，Livox Avia扫描仪在运行时会形成独特的花瓣状扫描轨迹，如图3a所示。图3b展示了由旋转和平移运动引起的点云失真情况。运行时，该激光雷达的标准采样频率为10 Hz，即激光发射与接收的间隔为100毫秒。将其划分为三个时间段（$T_1$、$T_2$、$T_3$）后，可观察到以下现象：在第一个时间段（$T_1$）内，激光雷达处于静止状态，此时获取的点云数据位于$a_1-c_1$位置；在第二个时间段（$T_2$）内，无人机处于旋转运动状态，采样位置移至$a_2-c_2$；在第三个时间段（$T_3$）内，无人机处于平移运动状态，采样位置进一步移至$a_3-c_3$。 ![Image](images/10da25701c2c9217357e1cd1779d650afa2d527f63997cafac1959e2582a2145.jpg)
(a)
![Image](images/33a5a0f90ed29124947222761142b18814fd5b256ff87ed9a7ea5c5c01b9036c.jpg)
(b)
Figure 3. (a) Trajectory of the point cloud and (b) the onset of motion blur in point clouds.
运动畸变校正需要将激光雷达帧内每个点的坐标转换到对应时间戳下的激光雷达原点位置。在运动幅度较小的情况下，相邻点之间具有足够的空间连续性和重叠性，因此可以采用基于点云配准的估计方法。这些方法通常利用迭代最近点（ICP）算法或其变体来计算帧间变换，以实现点云对齐 [^28]。然而，这类方法本质上假设物体做匀速运动，只能给出近似解，在长时间扫描过程中会逐渐累积误差。另一种方法是结合惯性测量单元（IMU）数据来估计激光雷达的运动状态。通过将高频局部位姿估计与运动学状态计算相结合，该方法能够在数据采集期间重构出激光雷达的瞬时方位和速度，从而实现精确的点云重投影。 我们假设扫描过程中激光雷达的运动状态可表示为 $S = \left[ R^T, P^T, V^T, b^T \right]^T$，其中R代表旋转矩阵，P为位置向量，V表示速度，b则对应加速度计的偏差。设世界坐标系记为W，激光雷达坐标系记为B。为了利用IMU数据分析激光雷达的运动，目标便是求解R、P和V。在所使用的硬件配置中，IMU的数据采集频率为200 Hz，而激光雷达为10 Hz。为了利用IMU数据校正激光雷达点云的畸变， --- 必须首先对IMU测量值进行积分。IMU输出的角速度和加速度定义为 $$ \left\{\begin{aligned}\hat{\omega}_{t}&=\omega_{t}+b_{t}^{\omega}+n_{t}^{w}\\ \hat{a}_{t}&=R_{t}^{BW}(a_{t}-g)+b_{t}^{a}+n_{t}^{a}\end{aligned}\right. $$ 其中 $\hat{\omega}_t$ 和 $\hat{a}_t$ 分别表示t时刻IMU测量的角速度和加速度，$\omega_t$ 为真实角速度，而 $b_t^w$、$b_t^a$、$n_t^w$ 和 $n_t^a$ 则对应测量中的偏差和噪声。旋转矩阵 $R_t^{BW}$ 用于将坐标从世界坐标系W转换到激光雷达坐标系B，g为重力加速度向量。根据位移、速度和加速度之间的运动学关系，从时间t到 $t + \Delta t$ 的位置向量、速度和加速度计偏差可表示为 $$ \left\{\begin{aligned}V_{t+\Delta t}&=V_{t}+g\Delta t+R_{t}(\hat{a}_{t}-b_{t}^{a}-n_{t}^{a})\Delta t\\ P_{t+\Delta t}&=P_{t}+V_{t}\Delta t+\frac{1}{2}g\Delta t^{2}+\frac{1}{2}R_{t}(\hat{a}_{t}-b_{t}^{a}-n_{t}^{a})\Delta t^{2}\\ R_{t+\Delta t}&=R_{t}exp((\hat{\omega}_{t}-b_{t}^{\omega}-n_{t}^{w}))\Delta t\end{aligned}\right. $$ 采用惯性预积分方法后，从时间i到时间j的速度、位置和旋转矩阵的变化可表示为 $$ \left\{\begin{aligned}\Delta V_{ij}&=R_{i}^{T}\left(V_{j}-V_{i}-g\Delta t_{ij}\right)\\ \Delta P_{ij}&=R_{i}^{T}\left(P_{j}-P_{i}-V_{i}\Delta t_{ij}-\frac{1}{2}g\Delta t_{ij}^{2}\right)\\ &\quad\Delta R_{ij}=R_{i}^{T}R_{j}\end{aligned}\right. $$ 利用上述公式得到系统的位置和姿态变换矩阵后，便可将在采集时间段 $(T_{1}-T_{3})$ 内的点云转换到统一的坐标系中。 在完成激光雷达-IMU系统的标定后，还需确定激光雷达与相机之间的外参矩阵，以建立图像帧与3D点云之间的时空对应关系。多传感器系统的时间同步是传感器融合方法的基础。在本研究中，集成于激光雷达的IMU本身就能确保IMU与激光雷达之间的同步，通过直接调用激光雷达驱动程序即可实现同步数据采集。然而，相机和激光雷达属于独立的采集单元，因此在标定和融合之前，必须对图像帧与点云序列进行明确的时间对齐。 激光雷达与相机之间的同步问题包含两个方面：时钟同步和数据采集同步。在时钟同步方面，常见的解决方案是将GPS集成到采集系统中，利用GPS的时间信号驱动中央处理器，从而实现时间戳的统一。至于数据采集同步，根据同步精度的要求不同，存在多种实现方式。一种简单的方法是通过软件触发，即利用统一的软件指令启动两种传感器。例如，若激光雷达和相机的采样频率均为10 Hz，理论上它们的采集周期能够保持一致。然而，这种软件触发方式存在固有缺陷：由于时间抖动，两种传感器都无法严格遵循10 Hz的额定频率，进而导致长时间运行时出现逐渐累积的时间偏差。虽然这种偏差在短时间采集时可以忽略不计，但经过长时间积累后误差会变得十分显著。更为可靠的解决方案是采用外部硬件触发。该方法适用于支持外部触发模式的传感器，由专用设备生成同步信号，激光雷达和相机在接收到这些信号后才开始采集，从而有效降低传感器间的同步误差。 --- 约为10毫秒。在本研究中，Livox Avia激光雷达支持每秒脉冲（PPS）同步功能，而HIKROBOT相机则支持硬件触发采集。因此，采用STM32微控制器来生成触发信号：为激光雷达产生1 Hz的脉宽调制（PWM）方波，为相机产生10 Hz的PWM信号。该时间同步与触发系统的架构如图4所示。 ![Image](images/1d26765a0e38adee4e98cde12550b016f36e6becffe4a546c0002d7d10351eed.jpg)
Figure 4. Synchronized triggering of camera and LiDAR.
### 基于激光雷达-相机融合的3D重建 #### 4.1. 激光点云与图像的校准与匹配 接下来的步骤是对相机和激光雷达进行校准，以建立2D与3D的对应关系，从而实现两种传感器之间的空间同步。这一过程的核心是利用几何校准靶标，构建2D图像与3D点云之间匹配的点对，进而估算出相对旋转和平移参数。相机、激光雷达等多传感器系统的校准是集成测量平台的基础。尽管近年来该领域已有大量研究，但现有校准方法大多针对的是$360^{\circ}$旋转式机械激光雷达。当这些方法应用于固态激光雷达或非重复扫描激光雷达时，会面临扫描方向上点云密度不均、测距误差分布不一致等挑战。为解决这些问题，研究人员提出了针对固态激光雷达的专用校准方法。例如，ACSC方法$^{[29]}$采用时空几何特征提取结合强度分布分析的方式，来估算点云中的3D角点。即便在点云密度和反射率存在差异的非重复扫描条件下，该技术也能实现精准的角点检测。一旦在点云和图像中均检测到角点，便可建立方程组来计算外参矩阵。 ACSC校准方法包含三个连续阶段：精细化点云处理、角点检测以及外参矩阵估计。第一阶段涉及对点云进行去噪和特征增强，以消除非重复扫描导致的非均匀性。首先，会对点云进行时间域上的积分处理。与单帧处理相比，长时间连续扫描能为三维物体生成更密集的点云，这充分利用了非重复扫描的固有优势。在本研究中，选用棋盘格面板作为校准目标。通过强度值可视化点云时，白色与黑色棋盘格方块之间会呈现出类似图像的特征。然而，直接累加原始点云会导致各帧间的噪声累积，从而产生模糊结果。为解决这一问题，通过分析时间域内的邻域点密度，对每个输入帧应用统计型离群值剔除算法。积分处理后， --- 表面法线分布的连续性较单次扫描数据有明显提升。随后基于法向量差异和目标相似度指标进行分割，进而对聚类进行排序，最终保留变异程度最小的聚类用于棋盘格定位。此外，还会采用点云特征增强技术来优化棋盘格点云，确保数据无噪声且几何精度达标。具体流程始于检测棋盘格面板的边界线，随后滤除这些边界外的背景点云，从而得到仅包含棋盘格的精细化点云$P_{c}$。接着采用迭代优化方法将$P_{c}$与理想平面对齐。优化过程的公式如下： $$ P_{c}^{\prime}=\left\{\left(x_{0},y_{0},z_{0}\right)\in P_{c}\left|\frac{\left|A x_{0}+B y_{0}+C z_{0}+D\right|}{\sqrt{A^{2}+B^{2}+C^{2}}}<\sigma\right.\right\} $$ 其中，A、B、C和D表示拟合平面的估计参数，$\sigma$代表$P_c$中点到拟合平面的距离标准差。为解决点云密度不均的问题，对精细化点云$P_c^t$采用基于体素网格的随机采样方法。该采样策略能确保采样后的点密度不超过原始体素网格中的最大密度，从而在保持几何精度的同时实现空间分布的均匀化。 点云优化完成后，下一步便是检测点云中角点的坐标。ACSC校准方法采用非线性优化方法来检测角点。该方法的核心在于设计相似性函数，用以估算从反射率求解得到的棋盘格角点测量值P与棋盘格角点的数学模型S之间的位姿差异。基于这一差异，利用L-BFGS算法[^30]来优化角点的测量值。 一旦获得角点坐标，就可以直接应用透视n点（PnP）算法来求解外参矩阵。本研究采用了亚像素角点检测算法来从图像中提取棋盘格角点。利用上述算法对相机与激光雷达之间的外参进行标定时，所采集的点云及最终匹配结果如图5所示。本节中，我们使用MATLAB（2022b版本）中的激光雷达与相机标定工具箱来对图像和点云进行标定。导入标定后的图像与预处理过的点云后，程序会计算出将点云转换到相机坐标系所需的旋转矩阵和平移矩阵。标定完成后，为了验证标定的准确性，利用标定得到的变换矩阵将点云投影到图像上，结果显示平移误差和重投影误差分别为2.61毫米和2.48像素，如图5b所示。 ![Image](images/8a6787565e69b53b9f467abe8f3d51fc9d38fda47867ccdd7d96d0f8a4d2c184.jpg)
Figure 5. Cont.
![Image](images/70f80da5538589a51e5a98de06f369191a8f1b96abd942620ea73063d3af80b9.jpg)
(a)
![Image](images/67b7451fe3ebb3566eef79f072c2711feef43e3f99a6526085cb643178b8f5df.jpg) --- ![Image](images/e3ff4aeb4f4411b24dc269528ffee2c30a5dd570ffb4d856d86ac9e6c40e3127.jpg) ![Image](images/075adad52f67aed32e56f9e59e4d840a688c34a36dc687f08253933f25efba90.jpg)
(b)
Figure 5. Calibration of LiDAR and camera. (a) The collected image, point cloud, and results of point cloud to image projection and (b) translation error and reprojection error.
#### 4.2. 基于点云与图像融合的三维重建 遵循图1所示的方法框架，本节介绍了所采用的激光雷达-相机-惯性测量单元融合三维建图方法。近年来，多传感器融合用于三维重建与定位已成为机器人领域的研究重点。激光雷达、相机和惯性测量单元是最常用的传感器，单独或组合使用这些传感器的SLAM方法也日益增多。典型的例子包括LSD-SLAM和DSO等视觉里程计，ORB-SLAM3等视觉-惯性里程计，以及LOAM-SLAM和FAST-LIO [^31] [^32] [^33]等激光雷达-惯性里程计。虽然这些方法已在实验室测试和室外城市环境中得到广泛验证，但现实场景尤其是桥梁周边往往存在结构特征稀疏、视野内纹理不足的问题，这对保持算法的鲁棒性提出了新挑战。当单一传感器的特征检测能力下降时，充分利用激光雷达、相机和惯性测量单元的互补优势对于确保建图稳定性至关重要。多传感器融合三维建图领域的最新进展包括R3LIVE++、R3LIVE、LVI-SAM和FAST-LIVO [^34] [^35] [^36]。 其中，R3LIVE++是从R3LIVE和R2LIVE衍生出的改进算法。它由LIO和VIO两个独立子系统组成。LIO子系统直接采用FAST-LIO2算法，利用激光雷达和惯性测量单元的测量数据来构建全局地图的几何结构。VIO子系统是R3LIVE++的创新之处，它利用视觉-惯性数据来重建地图的纹理。该VIO通过最小化当前图像中稀疏像素集与预先计算的辐射图之间的光度差异来追踪相机位姿。帧与地图的对齐能够缓解里程计漂移现象，而稀疏像素采样则限制了计算开销。此外，VIO还能在线估算相机曝光时间，从而还原真实的环境辐射度。 同样，LVI-SAM也集成了LIO和VIO子系统。其VIO以LIO的估计值为初始值进行初始化，并利用激光雷达测量数据提取视觉特征的深度信息，进而提升精度。反之，LIO则将VIO得出的位姿估计值作为点云配准的初始值。该框架利用VIO构建全局三维地图并执行回环检测，同时由LIO对结果进行优化。即便其中一个子系统出现故障，系统仍能保持建图连续性，从而确保在无纹理或特征稀少的环境中依然具备鲁棒性。 与上述视觉–激光雷达融合方法不同，FAST-LIVO更注重计算效率，能够在性能较低的ARM（高级精简指令集机器）板上实现实时运行。其LIO子系统会将新扫描到的原始点逐步添加到动态更新的点云地图中。VIO子系统则通过利用与点云地图相关联的图像块来最小化直接的光度误差，从而实现新图像的对齐，无需进行显式的视觉特征提取。该方法的工作流程如图6所示。 --- ![Image](images/85b31c3fe39017cc17f93c6ea04f806d0835e867f226e1eaec4a790fa25f945c.jpg)
Figure 6. Flow of the reconstruction methodology employed.
FAST-LIVO中的状态估计方法采用紧耦合的误差状态迭代卡尔曼滤波器（ESIKF）来融合激光雷达、相机和IMU数据。该方法将第一个时间戳下的IMU状态定义为全局坐标系，并通过状态转移模型来估算后续帧的姿态。第$(i+1)$个时间戳下的状态和协方差矩阵是通过前向传播得到的。在帧到地图更新阶段的激光雷达测量模型中，系统会首先消除输入点云中的运动畸变。在帧到地图配准过程中，新观测到的点被假定位于由地图中最近邻点构成的平面上。为了识别这些平面，先利用先前的姿态估计将这些点投影到地图上，然后取出每个投影点附近最近的五个点来拟合局部平面。 对于视觉测量模型，该方法通过最小化光度误差，以由粗到精的方式执行稀疏的直接帧到地图图像对齐。在地图管理方面，激光雷达全局地图采用了FASTLIO2中的增量式KD树方法，提供了点查询、插入和删除接口。视觉全局地图则采用轴对齐的体素数据结构，其中的体素哈希表能够快速识别出与当前帧相关的地图点。在对齐新的图像帧后，会将当前帧中的图像块添加到视野范围内的地图点上，从而确保有效图像块在各个视角下均匀分布。 这种工作流程使得FAST-LIVO中的VIO子系统能够复用激光雷达点云，同时跳过视觉特征提取、三角测量和优化步骤，大幅降低了计算需求。因此，该算法在传感器性能受限且处理资源有限的环境下仍能保持稳健的性能。鉴于FAST-LIVO在运行时效率和地图稳定性方面均优于R3LIVE++、LVI-SAM等其他算法，本研究选用FAST-LIVO作为激光雷达-相机融合的3D地图构建框架。 #### 4.3. 基于图像分割和点云–图像匹配的桥梁构件分割 通过上述步骤获得桥梁的3D点云后，要实现桥梁几何形状的自动提取，就需要从大规模点云中识别出关键结构构件，这些构件的边缘几何形状共同决定了桥梁的线性形态。不同类型和运营场景下的桥梁，其感兴趣的几何形状也各不相同。例如，在悬索桥的建设阶段，缆索几何形状是关键的测量目标，因此需要分割出主缆点云；在荷载测试场景中，桥面几何形状成为重点，需要分割出梁体点云。由于本研究针对的是混凝土拱桥，本节的分割目标就是桥梁拱部。一旦从无人机拍摄的图像中分割出拱部，就必须将图像中拱部的2D掩码重新投影到3D点云中，以提取其几何形状的3D坐标。这 --- 重建过程利用了每张图像的姿态信息、相机标定参数以及前序步骤中得到的激光雷达-相机标定结果。通过将拱桥掩膜重新投影到三维点云中，相应三维点的边缘坐标便直接代表了桥梁的关键几何形状。与现有的基于点云处理的算法不同，所提出的方法本质上是一种二维图像分割方法：它首先从二维图像中分割出桥梁构件，随后根据图像与点云之间校准得到的变换矩阵，遍历所有投影到图像平面上的点云；最终，投影到桥梁构件掩膜内的点即为被分割构件的点云。该方法不仅充分利用了系统中包含的图像和点云数据，还避免了对大规模点云的直接处理，从而降低了对计算机算力的要求。本节所述的算法流程如图7所示。 ![Image](images/f01b81dcb56623ff56018c1a5be3e682efc56f2cf1674b2de3c2ad428806b3a7.jpg)
Figure 7. Procedure for the calculation method of bridge geometric shape.
如图7所示，所提出的方法可分为两个主要步骤：（1）对图像中的桥梁构件进行细粒度分割；（2）确定这些构件的三维坐标。第一步的核心在于利用高精度分割网络完成桥梁构件的识别与分割。实例分割是计算机视觉领域的重要研究方向，其目标是检测输入图像中的目标，并为目标的每个像素分配类别标签。与传统图像分割任务（如人体识别或结构缺陷分割）不同，这类任务允许存在较为粗糙的掩膜边缘；而大多数现有的实例分割网络生成的掩膜边界较为模糊，尤其是在目标与背景差异较小的低对比度场景中，这种局限性会导致边缘识别精度下降。 在本研究中，桥梁构件的边缘分割精度会直接影响对应点云的分割结果，进而关系到三维坐标解析的准确性。因此，在应用实例分割网络时，重点在于提升构件边缘的分割精度。 为应对这一挑战，我们提出了一种基于Transformer的实例分割网络，旨在优化边缘识别与分割效果。该网络的架构如附图所示。在现有网络生成的初始分割结果基础上，我们的方法采用Transformer结构进行二次预测，专门针对边缘区域[^37]。对于分割目标的关键边缘区域，我们构建了四叉树结构来表示多个层级上的离散点；鉴于这些点在空间域上分布不连续，我们采用基于Transformer的分割网络来预测每个树节点的实例标签。该网络由三个模块组成：节点编码器、序列编码器和像素解码器。节点编码器用于丰富每个点的特征表示，序列编码器通过基于Transformer的架构处理节点序列，像素解码器则负责预测每个点的实例标签。通过序列化不同尺度下的稀疏特征点并利用多头注意力机制，模型能够动态建模 --- 多尺度稀疏特征，同时实现特征点之间的长距离比较与跨层级关联。 如图8所示，网络首先构建一个由不同层级的信息丢失节点组成的四叉树。这些节点源自感兴趣区域（RoI）金字塔，但由于层级差异而表现出不同的特征粒度。来自低层级RoI的$28 \times 28$分辨率信息丢失节点，对应相邻高层级RoI中$56 \times 56$分辨率的四个子节点。为了降低计算复杂度，被判定为丢失节点的像素会被进一步分解到上层，且树的最大深度被设定为3。信息丢失区域的检测采用自下而上的级联设计。如图8右侧所示，最低层级的RoI特征（$28 \times 28$）和初始物体掩码预测结果首先被输入到一个轻量级全卷积网络（$3 \times 3$卷积层）中，以预测四叉树的根节点。每个根节点会在相邻高层级RoI层中分解为四个子节点，其分辨率从$28 \times 28$过渡到$56 \times 56$。对于更高层级的RoI特征，会将先前丢失区域检测得到的掩码上采样并与当前RoI特征拼接起来。随后，单个$1 \times 1$卷积层会预测更细粒度的信息丢失节点，从而确保检测模块的计算效率。 ![Image](images/d0b267ec134d4722deb7db12bfac10e17735e53725e0f07489d428d96bd73421.jpg)
Figure 8. Structure of the hierarchical bridge component extraction network.
由于所提出的方法在测试阶段应用于混凝土拱桥的几何测量，本节以拱桥几何测量作为案例进行探讨。研究人员收集了300张在不同光照条件下由无人机拍摄的桥拱图像，并手动对这些图像进行标注，从而构建训练与评估数据集，如图9所示。 该网络的训练在由美国英特尔公司的i7-11700K CPU、32 GB内存以及美国英伟达公司的RTX 3090 GPU构成的硬件平台上完成，使用的框架为PyTorch（版本1.13.0）。训练参数包括1000次迭代，学习率设为0.001。训练过程中，预测掩码的测试准确率变化如图10a所示，最终在训练结束时达到了94.23%。随后将训练好的网络应用于对无人机拍摄的桥梁图像中的拱形区域进行自动分割，分割结果如图10b所示。对于一张$4000 \times 3000$像素的图像，自动分割过程大约需要0.5秒。 --- ![Image](images/4427559f0d77ffc3d042c87971b8d704401eb03468850049e1036f47f93b38d2.jpg)
(a)
![Image](images/93271adc2271cd22630fa028e5a8c85ceaf7310fa75713781c6b24f814ebff7a.jpg)
(b)
Figure 9. The established bridge arch segmentation dataset. (a) Raw images captured by UAV and (b) manual labeling results.
![Image](images/50a144664f540727503807be61c73a58dfb68ce2b31e8c0140b4c1bc06ac6d60.jpg) ![Image](images/e5698d18c837e0f4c64d89851413db32f7d1cf84f754c3c8728381d426f4f550.jpg)
(a)
![Image](images/64712c2c1a4f79fb8b1f8ad6154d93e97d31cd4eea43ecd2b6b2bf86f55033c0.jpg) ![Image](images/536fd8427c50efdd059f91a9329832b0294d456d12745c51db9ae021eeae80e5.jpg) ![Image](images/37bf22324b769b27b1650bf7e1f53ff29c7917e1e7860abfc891a505cf4e03fc.jpg)
(b)
![Image](images/bb9c0ee4c8bf4f630d4471aa533f3879a9cae8443adc2058b27bd400c92b8cc6.jpg) ![Image](images/4db6f9a310b25d1699ec52d6daf5a4cba4f06a824b8706e80639155a86059ccc.jpg) ![Image](images/36d1b9fda5579cbcecebc14a804d878d7ef25eb2a553aa7c865f3cc0d1b9ae51.jpg)
(c)
Figure 10. Training results of the hierarchical bridge component segmentation network. (a) Accuracy during training, (b) segmentation results of the trained network, and (c) segmented point cloud after applying the image to point cloud matching.
随后，按照图7中提出的流程，对融合后的激光雷达-摄像头系统的图像和点云进行处理。分割结果如图10c所示。对于一幅输入图像和一个激光雷达点云帧（积分时间为100毫秒），从图像中的拱形区域自动分割到点云分割的总处理时间平均为2秒。 ### 5. 现场测试 被测桥梁为混凝土拱结构，如图11所示。该桥主跨度为140米，桥宽为8米，建于20世纪70年代。经过 --- 数十年的使用，该桥出现了拱形变形和侧向倾斜等问题，因此需要进行精确的三维几何检测来评估其结构状况。 ![Image](images/1193ae7f5aa9e749b27308a5445d63478e3a16de1e5aa2a7c3c28bfa3f5484e7.jpg) ![Image](images/4deb59e2253a0aa504c06c1cc7e8871afb25da8452e5f0a1bb26b0318ce6e2e9.jpg)
Figure 11. Overview of the test bridge.
测试过程中采用了三种方法来重建桥梁的三维模型：(1) 使用高精度TLS对整座桥梁进行多站点扫描。扫描共设置了14个站点，并在桥面上预先安装了40个反光标记点，以便验证扫描精度。这台TLS设备（来自奥地利RIEGL公司的VZ-400i）在50米距离下的标称精度达到3毫米，因此其获取的几何数据被用作基准真值。(2) 搭载测绘相机的无人机拍摄桥梁的多视角图像，再利用商用三维重建软件生成点云。(3) 所提出的激光雷达-相机融合系统在无人机沿桥梁外侧预定轨迹飞行时执行快速扫描。TLS的现场工作流程及生成的点云如图12所示。数据采集当天的天气晴朗、光线充足，风速为3级；为了尽量减少桥面的阴影并避免逆光导致相机成像质量下降，采集工作于中午12点开始。无人机摄影测量法共采集了2068张图像，其飞行路径、操作流程以及重建后的点云详见图13。所提系统的测试过程及获取的点云则如图14所示。 ![Image](images/90c205cf1d1728abd06b27450cb603e757eb62f218ad103bca73fdb5536bb437.jpg)
(a)
Scanning position
![Image](images/609dca49d44fdfb772418eea5fdb5e80dcc263e75d7effa0f49e17eea8c2dae8.jpg)
(b)
![Image](images/9005f9955687d04dea44ece42891894c46a957069774a2552ef756ab5f64f5cb.jpg)
(c)
Figure 12. Point clouds of the bridge reconstructed by high-precision TLS. (a) VZ-400i TLS, (b) scanning station layout and reflector settings, and (c) acquired 3D point cloud of the bridge.
--- ![Image](images/e5dddc654c60d0877afd626d05dcd0d373f148f604e0dbeb0000fa7151af54b3.jpg)
(a)
![Image](images/744f4f62e7c0f58f337c0a15198707bdd76d9bba025413e4c9d8b9ca607dddf2.jpg)
(b)
![Image](images/eb20926b918c1d42ffac970246512fd44531af9a60824967eba40d4bba2def06.jpg)
(c)
![Image](images/424954e9b45c940762fb4f5a7b1c5a97fb99f820308d1d2fb8cb62e61d889276.jpg)
(d)
Figure 13. Three-dimensional reconstruction results of the bridge using UAV oblique photogrammetry. (a) UAV flight photography process, (b) location of images acquired by the UAV, (c) images of the bridge arch, and (d) 3D reconstruction results of the bridge.
![Image](images/44d40dedf0c6be5607255cf5497002275b54353130e032366f2adb8bebc1ee37.jpg)
(a)
![Image](images/b489427b46b4a88be2a3a3adb877aec0cf90fc6b99c5c8d83af007e4dcced349.jpg) ![Image](images/c0ff2a54e158950cb390ae639ce18c6b3fca2eb20caf3971d2defe63c78cd339.jpg)
(b)
![Image](images/51e0457353aa5dae628e81749920e288979daf10618b189ba4e626210f493217.jpg)
(c)
![Image](images/b0e894a212f250d802e214d863150996078b0458e3f79bc583a0b8e9b77bcbb6.jpg)
Figure 14. Three-dimensional point cloud of the bridge reconstructed using the proposed method. (a) UAV flight scanning process, (b) reconstruction result displayed in real time during the flight, and (c) reconstructed 3D point cloud. Left: true color, middle: reflectivity assignment, right: height assignment.
在进行TLS扫描时，角度分辨率被设定为$0.02^{\circ}$，每个站点所需的扫描时间为3分钟。在对桥梁的四面进行扫描时，每面选取一个站点以$0.01^{\circ}$的角度分辨率进行高分辨率扫描，这使得每个站点的扫描时间延长至7分钟。该扫描仪的激光脉冲重复频率可达1200 kHz，最大扫描距离为250米。现场扫描总计耗时约2小时，随后还需花费2小时进行数据配准，包括手动粗配准和自动精配准。整个基于TLS的工作流程共需4小时，最终生成的初始点云包含8.82亿个点。 --- 通过手动分割操作分离出桥梁结构后，得到了包含1.93亿个点的精细化点云。 对于基于无人机倾斜摄影测量的三维重建方法，数据采集结合了飞行路径规划软件与手动局部拍摄，以获取桥梁图像。所采集的图像包括远距离拍摄和近距离拍摄，其中近距离拍摄的像素分辨率约为1.22毫米/像素。使用的无人机平台为搭载DJI P1测绘相机的DJI M300 RTK。该无人机单次续航时间可达40分钟，相机传感器尺寸为35.9毫米×24毫米，有效像素数为4500万，可拍摄分辨率为8192×5460像素的图像。飞行过程中，相机以每秒一张的速度自动拍照。图13c展示了某拱桥的近距离图像，而图13b则显示了图像的空间分布。整个图像采集时间约为5小时，其中还包括3小时的初步数据采集以及为规划飞行路径所需的粗略三维模型重建时间。在采集到2068张图像后，采用成熟的多视图三维重建软件来生成桥梁点云。考虑到计算效率，选择了开源的COLMAP软件（版本3.12.0），该软件记录了各处理阶段的时间消耗：特征检测耗时0.2小时，特征匹配耗时11.67小时，稀疏点云重建耗时21.45小时，密集点云生成耗时16.35小时。处理硬件包括Intel i7-11700K CPU、RTX 3090 GPU和64 GB内存，总处理时间为57.67小时。最终生成的点云包含2.55亿个点，经人工分割去除背景噪声后，得到包含1.67亿个点的精细桥梁点云。 采用所提出方法进行三维扫描的过程如图14a所示。测试期间，激光雷达和相机的采集频率均为10 Hz，惯性测量单元的频率为200 Hz，激光雷达的点云采集速率为240,000点/秒，相机采集的图像尺寸为$4000 \times 3036$像素。由于激光雷达-相机融合系统从无人机起飞时便开始持续工作，不受平移或旋转运动的影响，因此无人机只需在适当距离（本次测试中为15米）上于桥梁上方完成一个完整周期即可。本次测试共进行了两次飞行，从起飞到降落总计耗时10分钟。通过机载计算机的无线视频传输实时显示点云更新情况，随着覆盖范围的扩大，桥梁的整体几何形状逐渐显现出来（图14b）。重建后的点云（图14c）包含1874.48万个原始点，经人工去除背景后剩余1206.92万个点。 从精度和处理速度两方面对这三种点云采集方法进行了比较，并分析了80个 retroreflective 目标（桥梁两侧各40个）以验证精度。如图15a所示，从地面激光扫描数据中提取的坐标被用作基准，而所提出的方法则通过反射率直接识别目标，如图15b所示。无人机摄影测量则需要通过对每个目标的角点坐标取平均值来进行手动定位，如图15c所示。 由于这三种方法生成的点云位于不同的坐标系下，因此计算了各目标的相对坐标，以便分析不同方法间的误差。以第一个目标为参考点，计算出其他点的相对坐标，从而将所有测量结果统一到同一个坐标系中。图16和图17展示了无人机倾斜摄影测量法与所提方法相对于高精度激光扫描参考值的位置误差。结果显示，摄影测量法得到的目标坐标误差明显大于所提方法。具体而言，在X轴测量中，摄影测量法的平均误差为0.452米，而所提方法仅为0.083米，相当于摄影测量法误差的18.36%。 --- 在Y轴测量中，摄影测量法的误差为0.602米，所提方法则为0.103米，相当于前者误差的17.11%。在Z轴测量中，摄影测量法的误差为0.184米，所提方法为0.061米，相当于33.15%。总体而言，与倾斜摄影测量法相比，所提方法将平均误差降低了77.13%。 ![Image](images/7105f144bc7a0851e432ecc2cd6206a761b1d836b48211885ff15199bcd130b6.jpg)
(a)
![Image](images/c3c20e78d2aa3d4663bf6e03ab68ed8712c6b80d7930ce5462686ae588a09432.jpg)
(b)
![Image](images/285c28f59f2948a67c920d1a466b787f8dea896aa6f40c8fc91ec0daf10b6978.jpg)
(c)
Figure 15. Reflective targets observed in point clouds acquired by three methods. (a) Reflective targets observed by high-precision TLS, (b) reflective targets observed by UAV oblique photogrammetry, and (c) reflective targets observed by the proposed method.
基于现场作业时间和计算处理时间，进一步对三种方法的重建效率进行了比较，结果汇总于表1中。所提方法的总耗时仅为激光扫描流程的4.18%，而摄影测量法所需时间是激光扫描的14.42倍。不过，由于激光雷达模块的采集速率仅为每秒24万点，低于激光扫描仪的120万点/秒，加之扫描时间显著较短，因此所提方法生成的点数较少。尽管如此，其点云密度仍足以满足几何测量需求。值得注意的是，由于扫描距离过远，激光扫描仪在中跨区域生成的点云较为稀疏；而所提方法由于在扫描过程中保持恒定的近距离，能在桥梁各截面维持均匀的点云密度。此外，激光扫描和摄影测量法均需占用大量计算内存且处理速度较慢，在低性能系统上分析时往往需要对点云进行降采样处理。 --- ![Image](images/f10bab22a4863bdc24642735802478789ac1afdb75bf8353141796735ac42b48.jpg)
(a)
![Image](images/f7885140c03d0dac77c17e2627462c0666d74bbe27e261ab278c26851d0af416.jpg) ![Image](images/7dae230448599fc1c022298f11734484152a4e077fd1d8a38585c6782777a25c.jpg)
(b)
![Image](images/a1240d08661debcaa360f975cd82dcd7f3f7b50f381ddb584578d40c83a4c559.jpg)
(c)
(d)
![Image](images/85875df3a6276da9a831aff60b288f5a25b3fc035f1df871575cd815e763382b.jpg)
(e)
![Image](images/71738fdc3640dd3bf610f09755f247aba9ed67102c7ebc260107fb3d5628acb2.jpg)
(f)
Figure 16. Measurement errors of the three methods compared on the south side of the bridge. (a) x-coord errors in oblique photography, (b) x-coord errors in the proposed method, (c) y-coord errors in oblique photography, (d) y-coord errors in the proposed method, (e) z-coord errors in oblique photography, and (f) z-coord errors in the proposed method.
![Image](images/41cd4c1b3e1383f8974d3de60adecd58d9012a1403aa822904938cbc128dd084.jpg)
(a)
![Image](images/9aa2a2daa45ab454180a4c9ff3c974b3be0c2da692b94a644499e7c25780d243.jpg)
(b)
![Image](images/b37311b4fa88b275405ac56026ef3ec7ea6f270757ca6f3a413903dffb6d8fca.jpg)
(c)
![Image](images/5aefe8ce6536bbd0cd7cbbed017a14ea0186f7624c2aa8e7667fac4692206ba3.jpg) ![Image](images/98a0cca0596cab4c2da805458558ef96e41791f6194e0196a89c46f9d9002c5e.jpg)
(d)
(e)
![Image](images/bd48881803956805d4c3f1c5d1ce4c2d8bd66493f2f308781fdcc182b6b454bc.jpg)
(f)
Figure 17. Measurement errors of the three methods compared on the north side of the bridge. (a) x-coord errors in oblique photography, (b) x-coord errors in proposed method, (c) y-coord errors in oblique photography, (d) y-coord errors in proposed method, (e) z-coord errors in oblique photography, and (f) z-coord errors in proposed method.
---
Table 1. Comparison of the time consumption of the three methods in the reconstruction.
MethodsData Collection/hData Processing/hTotal Time Consumption/hNumber of Point CloudsNumber of Effective Point Clouds
TLS224882 million193 million
Oblique photography849.6757.67255 million167 million
Proposed method0.16700.16719 million12 million
### 6. 结论 本研究提出了一种用于桥梁几何测量的激光雷达-相机融合三维重建及自动化构件分割方法。通过结合激光雷达点云与图像的优势，所提方法在三维重建的精度和效率方面均优于基于图像的方法。与固定的高精度激光扫描不同，该方法利用图像与点云的对应关系实现快速分割，无需直接处理庞大的点云数据。通过对在役桥梁几何检测的实地测试，得出以下结论： (1) 在激光雷达-相机数据融合方面，该方法采用基于惯性导航的点云去畸变技术、基于标定靶标的传感器校准技术以及紧耦合的图像-点云融合技术，能够动态重建大规模三维环境。集成系统在对在役桥梁进行检测时，可快速且稳定地生成三维点云。 (2) 针对大规模桥梁点云中自动化构件分割的挑战，本研究提出了一种图像引导的分割框架。该框架将二维分割结果映射到三维点云中，并结合了由粗到精的分割网络，使桥梁构件识别的准确率达到了94.23%。 (3) 在对在役桥梁进行验证时，结果表明：所提方法在X轴方向的测量精度为83毫米，Y轴方向为103毫米，Z轴方向为61毫米。与广泛采用的基于无人机的倾斜摄影方法相比，其平均误差降低了77.13%。该方法的总处理时间仅相当于使用固定式激光扫描方法的4.18%，以及基于无人机倾斜摄影技术的0.29%。 将所提方法应用于在役桥梁的几何形状检测时，仍存在若干需要克服和改进的局限性。首先，所构建系统中使用的激光雷达属于低成本、非重复扫描型激光雷达，其在硬件层面的精度低于昂贵的高精度激光雷达。这导致重建出的桥梁模型与静态TLS扫描仪的结果相比存在8.3厘米的误差。未来选用更高精度的激光雷达有望进一步提升该方法的测量精度。其次，目前训练好的桥梁构件自动分割网络仅适用于混凝土拱桥的拱部分割，因此该方法目前只能实现拱形线条的检测。此外，由于该方法在分割桥梁构件的点云时并非直接处理桥梁点云，而是先对图像进行分割，再根据图像与点云的校准结果来分割投影在构件掩膜内的点云，因此该方法仅能应用于由所研发的激光雷达-相机融合系统采集的数据，而无法用于其他设备采集的数据。后续研究中将加入包含桥梁拉索、箱梁及桥塔的数据集，从而使该方法能够应用于更多类型的桥梁及其构件的几何形状测量。 --- 作者贡献：S.J.：概念构思、方法论设计、验证、初稿撰写、审阅与编辑、经费申请。Y.Y.：方法论设计、验证、初稿撰写、审阅与编辑。S.G.：概念构思、验证。J.L.：方法论设计、验证。Y.H.：概念构思、经费申请。所有作者均已阅读并同意发表该手稿。 经费支持：本研究得到了目标认知与应用技术重点实验室（编号：2023-CXPT-LC-005）、道路与铁路工程安全与保障重点实验室（编号：STDTKF202303）以及大学生创新训练计划（编号：202410304059Z）的资助。 数据可用性声明：如需获取支持本研究结论的数据，可向通讯作者提出合理请求。 利益冲突声明：作者声明不存在利益冲突。 ## 参考文献 [^1]: Jiang, S.; Cheng, Y.; Zhang, J. Vision-guided unmanned aerial system for rapid multiple-type damage detection and localization. Struct. Health Monit. 2023, 22, 319–337. [CrossRef] [^2]: Jiang, S.; Zhang, J.; Gao, C. Bridge Deformation Measurement Using Unmanned Aerial Dual Camera and Learning-Based Tracking Method. Struct. Control Health Monit. 2023, 2023, 4752072. [CrossRef] [^3]: Tian, Y.; Zhang, C.; Jiang, S.; Zhang, J.; Duan, W. Noncontact cable force estimation with unmanned aerial vehicle and computer vision. Comput.-Aided Civ. Infrastruct. Eng. 2021, 36, 73–88. [CrossRef] [^4]: Hu, F.; Zhao, J.; Huang, Y.; Li, H. Structure-aware 3D reconstruction for cable-stayed bridges: A learning-based method. Comput.-Aided Civ. Infrastruct. Eng. 2021, 36, 89–108. [CrossRef] [^5]: Tian, X.; Liu, R.; Wang, Z.; Ma, J. High-quality 3D reconstruction based on fusion of polarization imaging and binocular stereo vision. Inf. Fusion 2022, 77, 19–28. [CrossRef] [^6]: Zhang, S. High-speed 3D shape measurement with structured light methods: A review. Opt. Lasers Eng. 2018, 106, 119–131. [CrossRef] [^7]: Hosamo, H.H.; Hosamo, M.H. Digital twin technology for bridge maintenance using 3d laser scanning: A review. Adv. Civ. Eng. 2022, 2022, 2194949. [CrossRef] [^8]: Ma, Z.; Choi, J.; Sohn, H. Continuous bridge displacement estimation using millimeter-wave radar, strain gauge and accelerometer. Mech. Syst. Signal Process. 2023, 197, 110408. [CrossRef] [^9]: Wang, F.; Zou, Y.; del Rey Castillo, E.; Ding, Y.; Xu, Z.; Zhao, H.; Lim, J.B. Automated UAV path-planning for high-quality photogrammetric 3D bridge reconstruction. Struct. Infrastruct. Eng. 2024, 20, 1595–1614. [CrossRef] [^10]: Chen, S.; Laefer, D.F.; Mangina, E.; Zolanvari, S.M.I.; Byrne, J. UAV bridge inspection through evaluated 3D reconstructions. J. Bridge Eng. 2019, 24, 05019001. [CrossRef] [^11]: Verykokou, S.; Ioannidis, C. An overview on image-based and scanner-based 3D modeling technologies. Sensors 2023, 23, 596. [CrossRef] [PubMed] [^12]: Lin, Y.C.; Liu, J.; Cheng, Y.T.; Hasheminasab, S.M.; Wells, T.; Bullock, D.; Habib, A. Processing strategy and comparative performance of different mobile lidar system grades for bridge monitoring: A case study. Sensors 2021, 21, 7550. [CrossRef] [PubMed] [^13]: Lu, R.; Brilakis, I. Recursive segmentation for as-is bridge information modelling. In Proceedings of the LC3 2017—Joint Conference on Computing in Construction (JC3), Heraklion, Greece, 4–7 July 2017; Volume I, pp. 209–217. [CrossRef] [^14]: Mohammadi, M.; Rashidi, M.; Yu, Y.; Samali, B. Integration of TLS-derived Bridge Information Modeling (BrIM) with a Decision Support System (DSS) for digital twinning and asset management of bridge infrastructures. Comput. Ind. 2023, 147, 103881. [CrossRef] [^15]: Shao, J.; Zhang, W.; Mellado, N.; Grussenmeyer, P.; Li, R.; Chen, Y.; Wan, P.; Zhang, X.; Cai, S. Automated markerless registration of point clouds from TLS and structured light scanner for heritage documentation. J. Cult. Herit. 2019, 35, 16–24. [CrossRef] [^16]: Sun, L. Practical, fast and robust point cloud registration for scene stitching and object localization. IEEE Access 2022, 10, 3962–3978. [CrossRef] [^17]: Tarabini, M.; Giberti, H.; Giancola, S.; Sgrenzaroli, M.; Sala, R.; Cheli, F. A moving 3D laser scanner for automated underbridge inspection. Machines 2017, 5, 32. [CrossRef] ## [^18]: Feroz, S.; Abu Dabous, S. UAV-based remote sensing applications for bridge condition assessment. Remote Sens. 2021, 13, 1809. [CrossRef] --- [^19]: Wang, D.; Gao, L.; Zheng, J.; Xi, J.; Zhong, J. Automated recognition and rebar dimensional assessment of prefabricated bridge components from low-cost 3D laser scanner. Measurement 2025, 242, 115765. [CrossRef] [^20]: Zhu, Y.; Brigham, J.C.; Fascetti, A. LiDAR-RGB Data Fusion for Four-Dimensional UAV-Based Monitoring of Reinforced Concrete Bridge Construction: Case Study of the Fern Hollow Bridge Reconstruction. J. Constr. Eng. Manag. 2025, 151, 05024016. [CrossRef] [^21]: Li, J.; Peng, Y.; Tang, Z.; Li, Z. Three-dimensional reconstruction of railway bridges based on unmanned aerial vehicle–terrestrial laser scanner point cloud fusion. Buildings 2023, 13, 2841. [CrossRef] [^22]: Huang, Y.; Du, Y.; Shi, W. Fast and accurate power line corridor survey using spatial line clustering of point cloud. Remote Sens. 2021, 13, 1571. [CrossRef] [^23]: Xu, Y.; Zhang, J. UAV-based bridge geometric shape measurement using automatic bridge component detection and distributed multi-view reconstruction. Autom. Constr. 2022, 140, 104376. [CrossRef] [^24]: Kim, H.; Narazaki, Y.; Spencer, B.F., Jr. Automated bridge component recognition using close-range images from unmanned aerial vehicles. Eng. Struct. 2023, 274, 115184. [CrossRef] [^25]: Xia, T.; Yang, J.; Chen, L. Automated semantic segmentation of bridge point cloud based on local descriptor and machine learning. Autom. Constr. 2022, 133, 103992. [CrossRef] [^26]: Yang, X.; del Rey Castillo, E.; Zou, Y.; Wotherspoon, L.; Tan, Y. Automated semantic segmentation of bridge components from large-scale point clouds using a weighted superpoint graph. Autom. Constr. 2022, 142, 104519. [CrossRef] [^27]: Jing, Y.; Sheil, B.; Acikgoz, S. Segmentation of large-scale masonry arch bridge point clouds with a synthetic simulator and the BridgeNet neural network. Autom. Constr. 2022, 142, 104459. [CrossRef] [^28]: Yang, W.; Gong, Z.; Huang, B.; Hong, X. Lidar with velocity: Correcting moving objects point cloud distortion from oscillating scanning lidars by fusion with camera. IEEE Robot. Autom. Lett. 2022, 7, 8241–8248. [CrossRef] [^29]: Cui, J.; Niu, J.; Ouyang, Z.; He, Y.; Liu, D. ACSC: Automatic calibration for non-repetitive scanning solid-state LiDAR and camera systems. arXiv 2020, arXiv:2011.08516. [CrossRef] [^30]: Mannel, F.; Aggrawal, H.O.; Modersitzki, J. A structured L-BFGS method and its application to inverse problems. Inverse Probl. 2024, 40, 045022. [CrossRef] [^31]: Campos, C.; Elvira, R.; Rodriguez, J.J.G.; Montiel, J.M.M.; Tardos, J.D. ORB-SLAM3: An accurate open-source library for visual, visual-inertial, and multimap slam. IEEE Trans. Robot. 2021, 37, 1874–1890. [CrossRef] [^32]: Yi, S.; Lyu, Y.; Hua, L.; Pan, Q.; Zhao, C. Light-LOAM: A lightweight lidar odometry and mapping based on graph-matching. IEEE Robot. Autom. Lett. 2024, 9, 3219–3226. [CrossRef] [^33]: Wu, F.; Beltrame, G. Direct sparse odometry with planes. IEEE Robot. Autom. Lett. 2021, 7, 557–564. [CrossRef] [^34]: Lin, J.; Zhang, F. R3LIVE++: A Robust, Real-time, Radiance Reconstruction Package with a Tightly-coupled LiDAR-Inertial-Visual State Estimator. IEEE Trans. Pattern Anal. Mach. Intell. 2024, 46, 11168–11185. [CrossRef] [PubMed] [^35]: Han, L.; Shi, Z.; Wang, H. A localization and mapping algorithm based on improved LVI-SAM for vehicles in field environments. Sensors 2023, 23, 3744. [CrossRef] [^36]: Zheng, C.; Xu, W.; Zou, Z.; Hua, T.; Yuan, C.; He, D.; Zhou, B.; Liu, Z.; Lin, J.; Zhu, F.; et al. FAST-LIVO2: Fast, direct lidar-inertial-visual odometry. IEEE Trans. Robot. 2024, 41, 326–346. [CrossRef] [^37]: Wang, J.; Yu, X.; Gao, Y. Feature fusion vision transformer for fine-grained visual categorization. arXiv 2021, arXiv:2107.02341. [CrossRef] 免责声明/出版方声明：所有出版物中所包含的陈述、观点和数据仅代表各作者及撰稿人的个人立场，并不代表MDPI及/或编辑部的观点。对于因文中提及的任何理念、方法、说明或产品而导致的人员伤害或财产损失，MDPI及/或编辑部概不负责。