文章 # 基于IndoorPathNet和迁移学习的面向仓库AMR的高精度BEV路面识别方法 Tianwei Zhang $^{1}$，Ci He $^{1,2,*}$，Shiwen Li $^{1}$，Rong Lai $^{1}$，Zili Wang $^{3ID}$，Lemiao Qiu $^{3ID}$ 和 Shuyou Zhang $^{3}$ 扬州大学，机械工程学院，扬州 225127，中国； (T.Z.); (S.L.); mz1202208 (T.Z.); (S.L.); (R.L.) 2 Canny Elevator, 苏州 215213, 中国 $^{3}$ 浙江大学，机械工程系，杭州 310058，中国； (Z.W.); (L.Q.); (S.Z.) ![Image](images/1ea3829b24d85e65f83874a1e51a54384661524c72019d38c641d57a05e2c04c.jpg) 学术编辑：Stéfano Frizzo Stefenon 引用：Zhang, T.; He, C.; Li, S.; Lai, R.; Wang, Z.; Qiu, L.; Zhang, S. 面向仓库 AMR的基于BEV的高精度路面识别方法 Appl. Sci. 2024, 14, 4587. 通讯作者：; 电话：+86-15267010098 收到：2024年5月5日 修改：2024年5月18日 接受：2024年5月20日 发表：2024年5月27日 版权所有：2024年，作者。 版权所有：MDPI，瑞士巴塞尔。 本文是一篇开放获取的文章，其使用条款和条件受知识共享署名 (CC BY) 许可协议的约束 (). ![Image](images/89764f0b4b5da3a838177251ecb3a1aa4f8ace526063e652fbe57a2cec371513.jpg) 自主移动机器人 (AMR) 是一种能够执行特定任务（如运输和巡逻）的自主导航车辆。作为工业 4.0 和智能工厂中物流系统的重要组成部分，AMR 利用传感器（包括摄像头）来收集有关其外部环境的信息并绘制导航路径。它们的应用范围广泛，涵盖仓储、制造业、医疗保健、危险场所和专业行业。路面识别是 AMR 的一项关键功能，它采用诸如语义分割之类的技术来提取高层场景信息，包括物体位置和图像中的语义数据。该技术可以与视觉同步定位与地图 (SLAM) 集成，增强 AMR 在复杂环境中导航的能力。这种集成对于使 AMR 能够成功完成其导航任务至关重要。 摘要：自动移动机器人（AMR）的快速发展和应用对于工业 4.0 和智能物流至关重要。对于大型动态平板仓库，在复杂障碍物中实现基于视觉的路面识别对于提高导航效率和灵活性至关重要，同时可以避免频繁的手动设置。然而，目前主流的路面识别方法面临着准确性和效率不佳的问题，以及缺乏大规模高质量数据集的问题。为了解决这些问题，本文介绍了一种基于迁移学习的俯视图（BEV）室内路径分割网络 IndoorPathNet，该网络通过实时分割的室内路径图为 AMR 提供方向引导。IndoorPathNet 采用轻量级的 U 型架构，并集成空间自注意力机制，以提高室内路径分割的速度和准确性。此外，该网络通过巧妙地运用迁移学习，克服了由于缺乏公开的仓库语义数据集而带来的训练难题。在 Urban Aerial Vehicle Image Dataset (UAVID) 数据集上，IndoorPathNet 与其他四个轻量级模型进行比较实验，获得了高达 82.2% 的最大交并比（IOU）。在 Warehouse Indoor Path 数据集上，获得了 98.4% 的最大 IOU，同时在单个 3060 GPU 上以 9.81 帧每秒（FPS）的速度处理 $1024 \times 1024$ 输入。 关键词：道路识别；语义分割；迁移学习 ## 1. 引言 在工业 4.0 和智能工厂的发展中，公司正在从完全自动化的生产线转变为涵盖整个生产车间到仓库的全面自动化 [^1]。 自动导向车 (AGV)，最早于 1955 年推出，被开发为高度自动化的、低劳动力的物流平台，以支持生产工厂、仓库和配送中心的大规模物料流动。 --- 用 AGV 系统替代传统卡车，可以极大地促进物流运营的可持续发展 [^2]，因为它可以提高安全性、效率、经济性、准确性和生产力 [^3]。 工业 4.0 标志着一种新的工业框架，它由颠覆性技术驱动，具有改变制造业为一种无缝连接产品、人员和流程的网络物理系统的潜力。 Ilias P. Vlachos 等人将 AGV 和物联网 (IoT) 作为重点，制定了一种运营策略，以帮助管理人员将工业 4.0 技术纳入其制造系统中，从而实现精益自动化目标 [^4]。 然而，AGV的适应性挑战在大型平面仓库环境中变得尤为突出 [^5]。 由于频繁的变化，很难准确地预测和描述环境，尤其是在多品种、小批量和柔性制造生产车间。 成品、原材料和各种设备的密集排列带来了重大挑战。 货物进出存储的频繁移动会导致障碍物位置频繁变化，给基于预定义静态地图的导航带来不便，甚至可能造成危险 [^6]。 在工厂装配线上，基于物联网技术的车辆与万物 (V2X) 技术，允许 AMR 与其他 AMR 以及工作站单元进行交互，以高效完成调度和生产任务。 然而，V2X 技术在仓库环境中实现环境感知面临重大挑战，因为大多数障碍物无法进行信息交换 [^7]。 此外，车载传感器的有限感知范围限制了环境感知和导航的有效性 [^8]。 缺乏全面的全局方向引导可能导致 AGV 难以预测路径变化，从而可能导致由于绕行错误或甚至方向感丧失而产生的偏差 [^9]。 为了解决这个问题，AGV 导航系统已经经历了机械、光学、感应、惯性以及激光导航等多个阶段，最终发展到今天的基于视觉的系统，从而将传统的 AGV 升级为 AMR [^10]。 视觉系统的优势在于，通过各种算法可以增强对各种环境的适应性，以确保竞争力 [^11]，与传统方法（如在地面上铺设磁条）和使用二维和三维雷达检测障碍物相比具有优势 [^12]。 美国宇航局和喷气推进实验室的自主机器人利用基于 IMU 的视觉惯性里程计和预计算的轨迹规划来导航静态障碍物课程 [^6]。 无处不在的传感器、强大的车载计算机、人工智能 (AI) 方法以及 SLAM 技术用于感知环境并在设施内导航，而无需预定义和实现的参考点 [^13]。 道路识别在地理信息处理和计算机视觉中起着关键作用，其主要目标是从视觉图像或地图数据中准确识别和提取道路信息[^14]。在室外道路应用中，多个激光雷达设备的融合可能会产生高能激光雾。虽然尚未通过实验证明长时间或反复暴露在这种激光雾对人眼视网膜是否有害，但研究人员仍然倾向于优先开发用于这些场景的视觉系统[^15]。早期研究人员探索移动机器人导航的计算机视觉时，提出了具有放宽约束和核函数的“一对多”（OVR）类型的支持向量机（SVM）分类器方法[^16]。该方法集成了对光照的感知图像分割，以及引导的颜色增强和自适应阈值分割，以应对复杂光照条件下的路径识别挑战。通过使用粒子滤波器，研究人员成功地融合了来自传统一维图像数据库和有向图的数据。这种方法有助于在网络环境中精确确定位置，包括在城市街道和多车道道路上，这些道路存在横向平台移动[^17]。随着由神经网络表示的实例分割技术的普及[^18]，道路识别已从基本的基于滤波器的区域识别发展到依赖卷积神经网络（CNN）的像素级语义分割。 --- 深度学习技术（尤其是CNNs）的快速发展，极大提升了道路图像识别的效果与效率。语义分割技术通过有效区分道路区域与其他物体，提升了道路识别的精度，进而提高了道路提取与拓扑分析的准确度。全卷积网络（Fully Convolutional Networks, FCNs）的出现[^19]将图像分类拓展到了像素级别，在缓解池化操作引发的图像尺寸缩减问题的同时，丰富了特征中的语义信息。但传统的FCN方法往往忽略像素间的空间关联，最终得到碎片化的分割结果[^20]。已有研究人员结合车载相机使用ResNet-18来区分地面与墙体[^21]。最初专为医学图像分割设计的U-Net架构采用独特的“U”形结构：编码器逐步降低空间维度，解码器系统性恢复图像细节与空间属性[^22]。这种独特设计增强了特征传播与利用的效率，进而提升了分割精度与模型通用性。编码器的层级结构确保了多尺度语义信息的提取，有助于对图像内容进行全面解读[^23]。刘艺之等人提出了一种道路交叉口识别方法，该方法结合了基于GPS数据的分类模型与聚类算法[^24]。他们还提出了一种利用无人机拍摄的实时视频或预下载的卫星多光谱图像开展道路提取与路况检测的技术[^25]。冯晨阳等人提出了一种结合卷积注意力引导的多路径语义分割网络，可辅助车辆进行道路识别[^26]。 迁移学习提供了一种高效的方式，可以在目标数据稀少、难以获取、昂贵且难以收集时，在先前任务和目标任务之间学习和传递知识 [^27]。迁移学习通常涉及三种主要策略：直接迁移、特征提取和微调 [^28]。直接迁移保留了预训练模型的卷积层，仅替换用于新任务的完全连接层。特征提取使用预训练模型的卷积层提取特征向量，然后将这些特征向量输入到新的完全连接网络中。微调调整选定的卷积层参数，以更好地适应新任务，通常会冻结某些层或训练自定义的完全连接层，以提高性能。Gianluca Fontanesi 等人 [^29] 开发了一种基于深度 Q 网络的 Lyapunov 方法，用于在各种模拟中进行非凸城市无人机 (UAV) 路径设计，并引入了一种迁移学习策略，以使用来自低于 6 GHz 频段的知识来增强新毫米波频段的学习。Piotr Mirowski 等人 [^30] 提出了一种深度强化学习算法，该算法可帮助模型在没有地图的情况下实现城市之间的导航能力，从而实现任务内容的迁移学习。由于公共数据集中的语义数据专门用于仓库任务非常稀少，因此本文采用迁移学习来应对训练样本和特征不足的挑战。 然而，传统的基于深度学习的道路识别方法目前面临着重大挑战，包括道路表面和背景的误识别。 复杂的障碍物，如建筑物、树木、行人、车辆，常常导致严重的误检测问题。 此外，狭窄或短的道路容易被忽略，从而影响这些系统的整体效率、准确性和稳定性。 此外，用于大规模室内仓库环境的高质量数据集稀缺且成本高昂，这阻碍了基于神经网络的道路识别的顺利实施。 Fuentes-Pacheco 等人 [^31] 调查了 VSLAM 方法，发现常见的 issue 包括效率下降、相机运动不稳定和遮挡。 这些挑战在涉及移动物体、环路闭合、机器人劫持和大规模地图绘制的场景中尤为突出。 Angladon 等人 [^32] 评估并对比了针对移动设备的实时 RGB-D 视觉里程计算法，指出只有高端设备，如 iPad Air，才能在标准视频图形阵列分辨率下保持令人满意的帧率。 --- 因此，仍然需要改进道路识别方法以避免上述问题。 本文提出了一种基于从仓库监控中获取的俯视图像的 IndoorPathNet 路径提取方案，旨在应对在广阔且动态的仓库环境中，用于 AMR 的智能道路识别的挑战。 本论文的主要贡献可以概括如下： (1) 提出的 IndoorPathNet 通过结构优化来减轻过拟合，并通过集成空间注意力机制和空洞卷积来扩大感受野，从而提高路径特征提取的效率和完整性，以增强其处理关键信息的能力； (2) 在 UAVID 数据集上进行预训练，有助于快速学习道路特征，从而提高其通用性和收敛速度； (3) 为了提高泛化能力和训练效率，本文将边缘检测作为辅助任务，并采用随机图像裁剪和拼接进行数据增强，从而显著扩大训练集并提高图像多样性。 本文的其余部分结构如下：第2节详细阐述了IndoorPathNet的结构优化、空间自注意力机制、数据集和迁移学习策略；第3节展示并讨论了IndoorPathNet与其他四个模型的比较实验，以及在Warehouse Indoor Path Dataset (WIPD)上进行的消融实验；最后，第4节分别提供了结论和未来研究方向。 ### 2. 材料和方法 本节将对我们的模型架构、注意力机制、数据集和训练方法进行详细阐述。IndoorPathNet采用U型编码器-解码器框架，利用空洞卷积扩大感受野，并集成空间自注意力机制，以整合上下文语义信息。第2.1节将详细阐述IndoorPathNet的整体架构。第2.2节将深入探讨空间自注意力机制的原理。第2.3节简要概述了应用场景中的工作流程。第2.4节将介绍本研究中使用的数据集。最后，第2.5节将阐述基于特征迁移的训练策略。 #### 2.1. IndoorPathNet的架构 如图1所示，IndoorPathNet是一种端到端的语义分割网络，用于从室内仓库环境的鸟瞰图（BEV）中提取可行驶路径。其架构包括以下内容： 1. U型编码器-解码器结构：原始图像通过编码和解码阶段，实现自动分割和提取室内可行驶路径； 2. 编码阶段：在编码部分，IndoorPathNet采用类似于U-Net的收缩路径，使用空洞卷积核，空洞因子为2和5，代替标准的$3 \times 3$卷积核；这种设计结合空间自注意力机制，在缩小特征图尺寸的同时，保留关键的空间信息； 3. 解码阶段：解码部分遵循类似于U-Net的扩展路径，利用上采样和基于注意力的特征增强；它采用增强的空间自注意力机制，优先处理和重建对预测至关重要的区域。 IndoorPathNet的设计灵感来自U-Net，在U-Net的编码器中，初始层使用小卷积核（通常为$3 \times 3$）来捕捉基本的图像特征，如边缘和纹理。 这种方法可以减少模型参数，同时保持对细节的敏感性。 随着编码器通过后续层，它会提取更抽象的特征，例如图像结构和形状。 这种分层 --- 特征提取确保网络能够跨多个比例层面的解释图像内容，从而提供精确分割所需的语义信息。 在U-Net的最深层，即第四层，以及其底部的桥接连接，执行最高级别的语义特征提取。 在这一理论基础上，我们进行了结构优化，基于 U-Net 架构，仅保留编码器-解码器结构的上下三层进行训练。然而，我们遇到了挑战，因为模型逐渐开始过拟合，并且难以区分类似于墙壁和地板的纹理。因此，我们重新引入了一个瓶颈层，以引入更深层次的特征。这与空间自注意力机制和空洞卷积相结合，从而开发了完整的 IndoorPathNet 模型。 ![Image](images/9feb18d2b296f076293566df8f4bb8052e97c7784ca8340ebd92d57974667eac.jpg)
Figure 1. Architecture of the proposed IndoorPathNet.
#### 2.2. 空间自注意力机制 注意力机制对于管理信息过载至关重要，它可以在有限的计算资源下，通过优先考虑重要信息来实现。它通过筛选比对较大数据集 (K) 中不太相关的细节，选择性地强调关键数据 (V)，并计算权重系数以突出更重要的信息。此功能使模型能够专注于路径提取的关键区域，从而优化特征提取过程并提高模型性能。 本研究引入了一种空间自注意力机制，以进一步提高模型性能。为了保持网络的轻量级并减少参数数量，本文避免了传统的空间和通道注意力设计。相反，它实现了一种修改后的空间自注意力机制，该机制源自非局部自注意力框架，特别针对二元分类问题，如图 2 所示。 --- ![Image](images/2e356390c365e143d1efd83cf537d639cc05b59e89b09e6f1bf20e0e55fd94bb.jpg)
Figure 2. The spatial self-attention mechanism.
该过程从局部特征 A 在 $R^{C \times H \times W}$ 中开始。该特征输入到卷积层，产生两个新的特征图 B 和 C，B 和 C 都位于 $R^{C \times H \times W}$ 中。这些图表然后被重塑为 $R^{C \times N}$，其中 $N = H \times W$ 表示像素的总数。接下来，执行 B 和 C 的转置之间的矩阵乘法。然后，应用一个 sigmoid 层来计算空间注意力图，从而得到 S 在 $R^{N \times N}$ 中，如公式 (1) 所示。这种结构化的方法有助于基于数据中空间关系的显着性进行有针对性的处理。 $$ S_{ji}=\frac{1}{1+exp(B_{i}\cdot C_{j})} $$ 元素 $S_{ji}$ 量化第 i 个位置对第 j 个位置的影响，其相关性随着其特征表示的相似性增加而增加。在此过程中，特征 A 被输入到卷积层以生成一个新的特征图 $D \in \mathbb{R}^{C \times H \times W}$，然后将其重塑为 $R^{C \times N}$。接下来，进行 D 和 S 的转置之间的矩阵乘法，并将结果矩阵重塑回 $R^{C \times H \times W}$。最后，将此重塑矩阵按参数 $\alpha$ 缩放，并与原始特征 A 进行逐元素组合，得到最终输出 $E \in \mathbb{R}^{C \times H \times W}$，如公式 (2) 所示。该方法有效地整合了上下文信息，利用空间注意力图来优先考虑提高模型性能的关键区域。 $$ E_{j}=\mathrm{Re}LU(x)+A_{j}=\max(0,\alpha\sum_{i=1}^{N}\left(s_{ji}D_{i}\right))+A_{j} $$ 缩放参数最初设置为零，然后逐渐调整以分配越来越大的权重。根据公式 (2)，可以推断出每个位置的特征是所有位置特征的加权和，以及原始特征。这种配置允许从全局的上下文视角进行操作，从而能够选择性地聚合由空间注意力图引导的上下文信息。 #### 2.3. 应用流程 关于我们的应用场景，本节提供简要的工作流程介绍，以帮助读者更好地理解室内路径网络模型在低成本AGV仓库导航中的实际意义。所使用的设备包括一个俯视相机、一个基于机器人操作系统（ROS）构建的AGV，以及一台配备3060显卡的计算机。如图3所示，工作流程大致包含四个步骤。 --- ![Image](images/10c03dc9958059ac1a39511b031dd496c18c130c69b6452dd8b13083a658e9fe.jpg)
Figure 3. A high-level overview of the workflow in the application scenario.
(1) 校准摄像头以校正失真 [^33] 后，信号通过 WIFI 从 BEV 摄像头传输到 PC，然后根据时间间隔策略从实时视频中提取关键帧。 包含室内路径的图像输入到预训练的室内路径网络模型中，用于路径分割。 获得结果后，采用轮廓一致性作为一种无监督评估指标，以衡量分割结果的边界与图像中清晰定义的边缘的对齐程度。此外，还会对短时间内生成的多个结果进行一致性检查。 通过一致性检查且评估得分令人满意的结果会传输到AGV端，以提供全局指导。如果结果不符合标准，则流程返回到第一步，以补充关键帧提取，以便重新评估。 经过多次实验，本文提出的模型在每个 $1024 \times 1024$ 图像上的平均处理速度为0.126秒。这种过滤机制设计确保AGV每0.5秒接收到全局方向指导，从而确保始终如一和及时的导航更新。这些步骤有助于减轻低质量路径分割或错误路径识别的情况。关键帧提取策略、设备之间的通信方法以及路径识别结果的评估方法都可以根据具体要求进行调整。例如，在关键帧选择中考虑图像质量可以减少由低图像质量引起的识别错误。通过V2X协议将AGV和相机连接到智能工厂的物联网网络，可以在紧急情况下确保快速响应和安全通信。此外，还可以根据需要，通过直方图分析来评估路径分割结果。 #### 2.4. 使用的数据集概述 本文使用了以下两个数据集：如摘要中提到的UAVID，该数据集包含从无人机视角拍摄的街道语义数据，以及WIPD，这是一个专门为室内路径提取任务定制的数据集。 UAVID 专为无人机在城市环境中进行语义分割任务而设计，包含来自各种城市环境的高分辨率航拍图像，场景包括道路、建筑物和人群。它由 30 个视频序列组成，包含 300 张图像，密集地标注为 8 个类别。为了使其适用于路径提取，我们通过将背景和道路类别合并为二元分类来细化标签，以简化分类。为了帮助模型更好地进行边缘检测，我们使用 Canny [^34] 算法对图像进行了二次处理。 --- WIPD 是使用人工智能生成技术开发的，用于评估仓库室内路径的语义分割。如图所示，这包括使用 Midjourney 模型生成的 50 张图像，这些图像描绘了商品和起重设备等障碍物，使用了诸如“照片级真实感”、“高细节”、“俯视图”和“水泥地面”等提示词。这些图像使用 LabelMe 手动标注，以区分可行驶路径和背景，从而生成 JSON 格式的地面路径标签。 为了提高模型的泛化能力，我们为WIPD数据集实施了一种新颖的数据增强策略，具体是一种随机图像裁剪和拼接方法。该方法使用Beta分布来确定从四个选定图像中裁剪的随机中心点。从这些点提取出每个图像的对应片段，然后将这些片段无缝地合并成一个新的图像。这种技术有效地扩展了训练数据集，并提高了模型识别和捕捉各种特征的能力。最后，该论文实现了零均值归一化来预处理输入图像。这涉及将所有像素值归一化到 $[-1, 1]$ 范围内，通过从每个通道的像素值中减去均值并除以标准差来实现。此预处理步骤对于提高IndoorPathNet语义分割网络的收敛速度至关重要。 #### 2.5. 特征迁移学习策略 因此，本研究使用UAVID作为源域进行迁移学习，预训练模型以识别路径结构特征。此后，冻结编码器的权重，然后对模型进行最终训练和微调，具体是在目标WIPD数据集上进行。完整的迁移训练工作流程如图4所示。 ![Image](images/120ebd7931af54088d8c8a90cee20451eaa9a1ff6942dad5df43da9f9d259cf3.jpg)
Figure 4. The overall schematic diagram of the feature transfer learning process.
--- 在这项研究中，该模型采用了一种特定的特征迁移训练方法，即在IndoorPathNet的初始化阶段，将预训练模型的三个浅层卷积层中的某些卷积层的学习率设置为零。 这种技术有效地保留了从UAVID源域数据中学习的特征分布，例如纹理和形状，在低维特征空间中。 然后，该模型使用WIPD数据集进行进一步训练，以显着提高其在复杂室内环境中识别和提取路径特征的能力。 图5显示了该过程的示意图。 ![Image](images/1e02bce430bc08ae06bc8a41ba471ab757137c3232e2f0ba75a2505dd36fb5db.jpg)
Figure 5. Encoder-frozen diagram of IndoorPathNet.
在微调阶段，本研究采用Adam优化器，该优化器可基于梯度矩动态调整学习率，同时提升训练速度与模型稳定性。根据模型规格定制调整后，编码器卷积模块的初始学习率设为$1 \times 10^{-4}$，解码器权重的初始学习率设为$1 \times 10^{-5}$。本研究采用混合精度训练（AMP），以提升内存约束下的运行效率。所有参数均应用系数为0.1的L2正则化。为保证数据表示的精确性，批量大小设为1，训练迭代最多进行200次。为解决室内图像中的像素不平衡问题，模型结合使用Dice损失[^35]与交叉熵损失[^36]，有效优化了二值路径分割任务。 ### 3. 实验结果 本节对所提出的方法进行分析。首先，介绍用于评估模型的参数指标。随后，我们在同一数据集上，将我们的模型与其他四个轻量级语义分割模型进行比较实验，通过数据比较和性能演示，阐明我们模型的独特优势。最后，通过消融实验，我们阐述了改进策略及其在克服模型设计过程中遇到的挑战方面的有效性。此外，我们还分析了 IndoorPathNet 模型在准确性和分割速度方面的性能，以强调其在仓库自动化移动机器人导航解决方案中的可行性。 --- #### 3.1. 评估指标 本文使用多种指标来评估分割的有效性，包括准确率、精确率、召回率和 IoU。首先使用混淆矩阵，以突出不同类别之间错误分类的可能性。在路径提取的上下文中，路径被定义为正面，背景被定义为负面。评估首先基于实际类别和模型预测类别计算四个基本的二元分类指标：真阳性 (TP)、真阴性 (TN)、假阳性 (FP) 和假阴性 (FN)。以下是用于计算这些指标的公式： $$ A c c u r a r y=\frac{T P+T N}{T P+T N+F P+F N} $$ $$ Precision=\frac{TP}{TP+FP} $$ $$ Recall=\frac{TP}{TP+FN} $$ $$ IoU=\frac{TP}{TP+FP+FN} $$ #### 3.2. 比较实验 该实验使用了 UAVID 数据集中的三个图像，这些图像具有多尺度特征的路径，以及建筑物、树木、行人、车辆等造成的遮挡。通过在同一数据集上进行训练，评估了所提出的方法的性能，并与其他四个成熟的网络模型（FCN-8s、FCN-32s、SegNet 和 U-Net）进行了比较。结果如图 6 所示。第一行显示原始图像，而第二行到第五行分别显示 FCN-8s、FCN-32s、SegNet 和 U-Net 的结果。第六行显示本研究中开发的 IndoorPathNet 模型的输出。用蓝色突出显示的是被错误分类为背景的路径区域，这被归类为 FN。用黄色显示的是被错误分类为路径的背景区域，这被记录为 FP。 在区分路径和可通行地面这一语义分割任务中，FCN、其变体以及所提出的框架之间存在显著的性能差异。如图 6 所示，结果表明，FCN 网络，特别是 FCN-8s 和 FCN-32s，表现出最明显的误识别问题。与 FCN-8s 相比，FCN-32s 的改进幅度不大，通常会同时出现路径识别的遗漏和错误分类。相比之下，SegNet 网络在减少 FP 方面表现出一定的改进，但仍难以防止将背景误识别为路径。相反，U-Net 网络比 SegNet 网络表现出显著的改进，在 FN 和 FP 方面均大幅减少，但路径的连续性仍有待提高。如不同模型效果图中蓝色编号框（d、e、f 和 g）所示，随着模型的复杂性增加，道路检测缺失的问题有所改善。这表明，更复杂的模型具有更好的捕捉细节特征的能力。但是，这引入了一个新的问题，即建筑物误识别的情况越来越严重，在 U-Net 网络的效应图中达到峰值，这表明模型出现了过拟合。通过比较 U-Net 网络和 IndoorPathNet 之间的黄色编号框（1 到 6），可以观察到建筑物误识别的问题有所减少。因此，所有假阴性和假阳性都集中在两个问题上：道路检测缺失和建筑物识别错误。本文提出的 IndoorPathNet 在解决这两个问题方面取得了良好的平衡。 ---
Image![Image](images/c43fed95958f3e4c4bc1d47a3d68b926d12c6f4e0a7566bfb6d0f3bdae9c6f69.jpg)![Image](images/7cbf9b682781fd71dd8280e16e0533a62db56d7eca45176849b0310618e74db3.jpg)![Image](images/e5825d60f89714cbb29d5db43d66f25b0fdb2c1bb6f2e31de469716a933a8b08.jpg)
FCN-8s![Image](images/5fca9a4e689afec3f6368db63913a85521b354971d88fd5348726a7cac3a7ec6.jpg)![Image](images/c913b1b4c032113c886b29d064b20489921219f179860b1bdd0b3eb803a85a96.jpg)![Image](images/60843573894cc9663d47cdadc06bdd80603bb35d6faf930c5c2000002058f009.jpg)
FCN-32s![Image](images/69b25e534002d6a88e73a6868520f80e2c9e31019a112a6664e8b393a4dd94f0.jpg)![Image](images/ccc4178ca4994f2c48f6ce903655cecaab2544f16b8026d69254f49e6c7d4bb6.jpg)![Image](images/303f3ce9dde8472102a1fd20fb7b780a1a6a5f249af60a96b699e24cd4020fbc.jpg)
SegNet![Image](images/247ab8b2b3ec4a00515157af8ef4ed92460696386a123c64c6d60dcb9e5b2813.jpg)![Image](images/0d4fc445f15addb38f1b7f2f38c768de53c886e746781d087c254535c71b2991.jpg)![Image](images/55466186c217f87e11dcbf59fbcac998bc0cfb8752e0001fbdf247e3e1eef9ac.jpg)
U-Net![Image](images/3d83841da5576d39977be8c0491d43fa4c6ca5ee177536fa0b5c4d1e448c61d4.jpg)![Image](images/5338083d73c0f7b1e90989488dd124ccbef0aca7a3719430f311343a0c9c95b0.jpg)![Image](images/5ef8b4bc14c29456e29f08f3158c85388317a373b6b8efb399de61eb0e2added.jpg)
IndoorPathNet![Image](images/45b044a290f67c586ef1750d9799938e7773d9a1b11911f8be91aee7ac5d56a5.jpg)![Image](images/a98dc2b92e018602d8b2b24c654ccfff5ab59f34ab5c0c6d1e70ae64ffcf24df.jpg)![Image](images/6ea5e4ab71bc9a5d93fd5e2b13358606162e59799c14b47250d1da56016ba20b.jpg)
(a)
(b)
(c)
Figure 6. An intuitive comparison in the task scenario between current mainstream models and the proposed model; (a–c) represents different groups. The purple portion represents the segmented path. The rest is identified as the black background. The blue highlighted boxes represent FN, while the yellow ones represent FP.
表 1 提供了实验的详细数值比较。在所有任务场景中考虑的模型中，所提出的模型在精度、召回率和 IoU 值方面均优于其他四个模型。这种卓越的性能凸显了我们的方法相对于其他网络模型的显著优势，尤其是在提高路径目标的准确识别、处理遮挡以及解决不连续性问题方面。我们的模型生成的预测提供了更全面和更精确的路径信息。这种能力允许在图像中的小区域和短长度内更完整地预测路径，从而表明其具有比其他模型更强大的路径特征提取能力。 ---
Table 1. A numerical comparison in the task scenario between current mainstream models and the proposed model.
Group(a)(b)(c)
PRIoUPRIoUPRIoU
FCN-8s0.5910.6540.4510.5880.6120.5030.6570.6280.491
FCN-32s0.5530.6110.4090.5290.5740.4800.5630.6230.510
SegNet0.7100.7350.6220.6980.8170.8100.6930.6120.541
U-Net0.8220.8950.7620.8720.8900.7590.6100.5330.632
IndoorPathNet0.8660.9120.8790.9030.9260.8540.8400.8210.721
为了进一步证明我们方法的路径提取有效性，我们在 UAVID 路径数据集的整个测试集上进行了定量比较。定量结果如表 2 所示。在精度指标方面，与 FCN-8s、FCN-32s、SegNet 和 U-Net 网络相比，我们的网络的平均提升分别为 36.3%、40.3%、13.8% 和 4.5%。在召回率指标方面，与这四个网络相比，我们的网络的平均提升分别为 29.2%、31.2%、12.2% 和 5.6%。在 IoU 指标方面，与这四个网络相比，我们的网络的平均提升分别为 44.5%、48.9%、22.0% 和 6.1%。显然，在精度、召回率、F1 分数和 IoU 方面，我们的网络的定量结果优于其他四个网络模型。
Table 2. A comparison of whole UAVID between current mainstream models and the proposed model.
ModelPRIoU
FCN-8s0.5730.6310.497
FCN-32s0.6020.6810.503
SegNet0.7970.7580.683
U-Net0.8130.8020.764
IndoorPathNet0.8930.8750.822
#### 3.3. 消融实验 为了验证结构优化、注意力机制、数据增强方法、空洞卷积和特征迁移方法对室内路径提取结果的贡献，本章选择WIPD中表现出最严重过拟合现象的图像，用于消融实验。这些实验比较了在基于所提出的改进思路进行模型增强之前和之后的结果。此外，还包括基于U-Net模型结构的效应图，用于展示结构优化效果。这里，“3layers”表示在初始优化后得到的U-Net结构的一种变体，如图1所示。 消融实验的结果显示出一些值得注意的趋势。在图7c和d中，在应用特征迁移策略之前，效果并不理想。在添加空洞卷积后，如图7e所示，虽然感受野扩大了，但调整模型的拟合方向仍然具有挑战性，导致将墙壁错误地分类为路径，并将中心区域的路径错误地分类为背景。图7f和g说明，空间自注意力机制在路径分割方面显著提高了性能，能够分割具有更强连接性和完整边缘的路径。然而，发生了过拟合，导致将墙壁和障碍物表面错误地分类。包含数据增强和其他增强，如图7h所示，加剧了U-Net模型的过拟合现象。最后，最后一幅图像，图7i，展示了IndoorPathNet在从BEV室内存储图像中提取详细且完整的路径语义图的有效性。图8显示了IndoorPathNet在WIPD上的训练指标。 --- ![Image](images/71e71e7fc291ea4c203ec2bfd2e1dd8ad73384253b08a0e836c8747ce76b4719.jpg) ![Image](images/f93a6e82ddf65f5d4619e0fe79ea69bf0624cc8512c260fb60cc379081523463.jpg)
(a)
(b)
![Image](images/ce79beec6946d12db580d721bb47420afbe47cbdb88e111b49577d2c1b891264.jpg) ![Image](images/176576cdea869c8d903f428e26416940a4183ed2de896a3f7b6427b099da4cc0.jpg)
(c)
(d)
![Image](images/c0293dcf00ce9f54cce17036baef9385e56661dfd8f9a2425475f2f1a1382561.jpg)
(e)
![Image](images/e16c7549bfcdb6c89c8c3a71f8770a2fb0b9eb2f29ed55dbd647800ff7ab6c50.jpg)
(f)
![Image](images/d104ab0212279bc915f93c90f415a09ddc057be4cb7471359caab2299a54d73f.jpg)
(g)
![Image](images/796bedc6e87de212b31445df2cb1e31acb447c69b7660cc6f4a907d9d7d2795c.jpg)
(h)
![Image](images/913baa662eae09260a752b8da29926df5cdd9357ee933e7adcbd5ff1e441d633.jpg)
(i)
Figure 7. Results of ablation experiments in WIPD: (a,b) represent the image and mask, respectively; (c) represents the prediction of the three-layer model alone; (d) represents the prediction of U-Net alone; (e) represents three layers + dilated convolution + feature transfer; (f) represents three layers + dilated convolution + spatial self-attention mechanism + feature transfer; (g) represents U-Net + dilated convolution + spatial self-attention mechanism + feature transfer; (h) represents U-Net + dilated convolution + spatial self-attention mechanism + feature transfer + data augmentation; and (i) represents IndoorPathNet + feature transfer + data augmentation.
--- ![Image](images/db36230b27d05c68ee8ac8ad8c56013cd8a43aeae59272a5d8504b30a82a2977.jpg)
Figure 8. Training metrics on WIPD.
### 4. 结论 本文介绍了一种基于增强的U型IndoorPathNet和迁移学习的基于视觉的道路识别方法，该方法专为大型平坦仓库中的AMR设计。该方法通过利用结构优化、空间自注意力机制、空洞卷积、特征迁移学习、边缘检测辅助任务和数据增强，显著提高了道路特征提取的效率和准确性。与目前主流的FCN-8s、FCN-16s、SegNet和Unet相比，所提出的方法在我们的专有WIPD数据集上表现出卓越的性能，能够为在大型动态仓库环境中运行的AMR提供实时方向引导。经过广泛的实验，本文提出的模型在单张3060 GPU上的平均处理速度约为9.81帧每秒（FPS），并且IOU为98.4%。这种性能完全满足了在仓库环境中导航的低速AMR所需的实时全局引导需求。 虽然IndoorPathNet旨在实现路径识别任务，但在实际应用中仍存在一些问题和局限性。所展示的案例研究并非在自然光照环境下进行，这可能会导致由光斑照亮的地面区域被错误地识别为障碍物，并可能产生对墙壁的误检。此外，基于单一的俯视视觉（BEV）难以获取整个仓库的路径信息，因此，利用多个摄像头从不同角度对路径进行分割，这是一种有前景的解决方案，可以弥补视角上的不足。重要的是要强调，我们方法生成的路径语义地图缺乏物理尺度，需要通过其他传感器获取物理信息，以满足AMR的导航要求。作为一种潜在的解决方案，AMR的板载传感器可以有效地补偿BEV中缺少的部分路径信息，并实现完全自动化的扫描和地图构建，这构成了多模态SLAM框架的重要组成部分。 --- 作者贡献：数据整理，T.Z.和S.L.；正式分析，T.Z.、C.H.和S.L.；资金申请，C.H.；调查，T.Z.和C.H.；方法论，T.Z.；项目管理，L.Q.；资源，Z.W.和L.Q.；软件，T.Z.和R.L.；监督，S.Z.；验证，C.H.；可视化，T.Z.；撰写 - 原始稿，T.Z.；撰写 - 审查和编辑，C.H. 所有作者均已阅读并同意发表本手稿的最终版本。 资金：本研究由中国国家自然科学基金会（项目编号：52305285）、江苏省自然科学基金会（项目编号：BK20230592）、江苏科技大学流体传动与机械系统国家重点实验室开放基金项目（项目编号：GZKF202326）、扬州市与扬州大学合作创新科技平台项目（项目编号：YZ2020266）资助。 数据可用性声明：本研究中提供的数据可根据要求从第一作者田伟张处获得。由于隐私原因，数据未公开。 利益冲突声明：作者Ci He就职于Canny Elevator公司。其他作者声明，本研究是在没有可能被视为潜在利益冲突的任何商业或财务关系的情况下进行的。 ## 参考文献 [^1]: Adrodegari, F.; Bacchetti, A.; Pinto, R.; Pirola, F.; Zanardini, M. Engineer-to-order (ETO) production planning and control: An empirical framework for machinery-building companies. Prod. Plan. Control 2015, 26, 910–932. [CrossRef] [^2]: Herrero-Perez, D.; Martinez-Barbera, H. Modeling Distributed Transportation Systems Composed of Flexible Automated Guided Vehicles in Flexible Manufacturing Systems. IEEE Trans. Ind. Inform. 2010, 6, 166–180. [CrossRef] [^3]: Lass, S.; Gronau, N. A factory operating system for extending existing factories to Industry 4.0. Comput. Ind. 2020, 115, 103128. [CrossRef] [^4]: Vlachos, I.P.; Pascazzi, R.M.; Zobolas, G.; Repoussis, P.; Giannakis, M. Lean manufacturing systems in the area of Industry 4.0: A lean automation plan of AGVs/IoT integration. Prod. Plan. Control 2023, 34, 345–358. [CrossRef] [^5]: Schwesinger, D.; Spletzer, J. A 3D approach to infrastructure-free localization in large scale warehouse environments. In Proceedings of the 2016 IEEE International Conference on Automation Science and Engineering (CASE), Fort Worth, TA, USA, 21–25 August 2016; pp. 274–279. [^6]: Yasuda, Y.D.V.; Martins, L.E.G.; Cappabianco, F.A.M. Autonomous visual navigation for mobile robots: A systematic literature review. ACM Comput. Surv. 2020, 53, 1–34. [CrossRef] [^7]: Grosset, J.; Fougères, A.-J.; Djoko-Kouam, M.; Bonnin, J.-M. Multi-agent simulation of autonomous industrial vehicle fleets: Towards dynamic task allocation in V2X cooperation mode. Integr. Comput. Aided Eng. 2024, 31, 249–266. [CrossRef] [^8]: Rea, A. AMR System for Autonomous Indoor Navigation in Unknown Environments; Politecnico di Torino: Torino, Italy, 2022. [^9]: Meng, X.; Fang, X. A UGV Path Planning Algorithm Based on Improved A* with Improved Artificial Potential Field. Electronics 2024, 13, 972. [CrossRef] [^10]: Fragapane, G.; de Koster, R.; Sgarbossa, F.; Strandhagen, J.O. Planning and control of autonomous mobile robots for intralogistics: Literature review and research agenda. Eur. J. Oper. Res. 2021, 294, 405–426. [CrossRef] [^11]: Tong, Y.; Liu, H.; Zhang, Z. Advancements in Humanoid Robots: A Comprehensive Review and Future Prospects. IEEE/CAA J. Autom. Sin. 2024, 11, 301–328. [CrossRef] [^12]: Wang, H.; Wang, B.; Liu, B.; Meng, X.; Yang, G. Pedestrian recognition and tracking using 3D LiDAR for autonomous vehicle. Robot. Auton. Syst. 2017, 88, 71–78. [CrossRef] [^13]: Facchini, F.; Olešków-Szłapka, J.; Ranieri, L.; Urbinati, A. A Maturity Model for Logistics 4.0: An Empirical Analysis and a Roadmap for Future Research. Sustainability 2019, 12, 86. [CrossRef] [^14]: Xu, Y.; Xie, Z.; Feng, Y.; Chen, Z. Road extraction from high-resolution remote sensing imagery using deep learning. Remote Sens. 2018, 10, 1461. [CrossRef] [^15]: Rateke, T.; Justen, K.A.; Chiarella, V.F.; Sobieranski, A.C.; Comunello, E.; Wangenheim, A.V. Passive Vision Region-Based Road Detection. ACM Comput. Surv. 2019, 52, 1–34. [CrossRef] [^16]: Wu, X.; Sun, C.; Zou, T.; Li, L.; Wang, L.; Liu, H. SVM-based image partitioning for vision recognition of AGV guide paths under complex illumination conditions. Robot. Comput. Integr. Manuf. 2020, 61, 101856. [CrossRef] [^17]: Pepperell, E.; Corke, P.; Milford, M. Routed roads: Probabilistic vision-based place recognition for changing conditions, split streets and varied viewpoints. Int. J. Robot. Res. 2016, 35, 1057–1179. [CrossRef] [^18]: Liu, S.; Qi, L.; Qin, H.; Shi, J.; Jia, J. Path aggregation network for instance segmentation. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Salt Lake City, UT, USA, 18–23 June 2018; pp. 8759–8768. [^19]: Long, J.; Sneinamer, E.; Darrell, I. Fully convolutional networks for semantic segmentation. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Boston, MA, USA, 7–12 June 2015; pp. 3431–3440. ## [^20]: Arthi, K.; Brintha, K. Segmentation and Extraction of Parcels from Satellite Images Using a U-Net CNN Model. ISAR Int. J. Res. Eng. Technol. 2024, 9 --- [^21]: Teso-Fz-Betoño, D.; Zulueta, E.; Sánchez-Chica, A.; Fernandez-Gamiz, U.; Saenz-Aguirre, A. Semantic Segmentation to Develop an Indoor Navigation System for an Autonomous Mobile Robot. Mathematics 2020, 8, 855. [CrossRef] [^22]: Ronneberger, O.; Fischer, P.; Brox, T. U-net: Convolutional networks for biomedical image segmentation. In Proceedings of the Medical Image Computing and Computer-Assisted Intervention–MICCAI 2015: 18th International Conference, Munich, Germany, 5–9 October 2015; Proceedings, Part III 18. pp. 234–241. [^23]: Ding, H.; Jiang, X.; Shuai, B.; Liu, A.Q.; Wang, G. Semantic segmentation with context encoding and multi-path decoding. IEEE Trans. Image Process. 2020, 29, 3520–3533. [CrossRef] [^24]: Liu, Y.; Qing, R.; Zhao, Y.; Liao, Z. Road Intersection Recognition via Combining Classification Model and Clustering Algorithm Based on GPS Data. ISPRS Int. J. Geo-Inf. 2022, 11, 487. [CrossRef] [^25]: Xu, H.; Yu, M.; Zhou, F.; Yin, H. Segmenting Urban Scene Imagery in Real Time Using an Efficient UNet-like Transformer. Appl. Sci. 2024, 14, 1986. [CrossRef] [^26]: Feng, C.; Hu, S.; Zhang, Y. A Multi-Path Semantic Segmentation Network Based on Convolutional Attention Guidance. Appl. Sci. 2024, 14, 2024. [CrossRef] [^27]: Hosna, A.; Merry, E.; Gyalmo, J.; Alom, Z.; Aung, Z.; Azim, M.A. Transfer learning: A friendly introduction. J. Big Data 2022, 9, 102. [CrossRef] [PubMed] [^28]: Zhuang, F.; Qi, Z.; Duan, K.; Xi, D.; Zhu, Y.; Zhu, H.; Xiong, H.; He, Q. A comprehensive survey on transfer learning. Proc. IEEE 2020, 109, 43–76. [CrossRef] [^29]: Fontanesi, G.; Zhu, A.; Arvaneh, M.; Ahmadi, H. A Transfer Learning Approach for UAV Path Design with Connectivity Outage Constraint. IEEE Internet Things J. 2023, 10, 4998–5012. [CrossRef] [^30]: Mirowski, P.; Grimes, M.; Malinowski, M.; Hermann, K.M.; Anderson, K.; Teplyashin, D.; Simonyan, K.; Zisserman, A.; Hadsell, R. Learning to navigate in cities without a map. arXiv 2018, arXiv:1804.00168. [^31]: Fuentes-Pacheco, J.; Ruiz-Ascencio, J.; Rendón-Mancha, J. Visual simultaneous localization and mapping: A survey. Artif. Intell. Rev. 2015, 43, 55–81. [CrossRef] [^32]: Angladon, V.; Gasparini, S.; Charvillat, V.; Pribanić, T.; Petković, T.; Donlić, M.; Ahsan, B.; Bruel, F. An evaluation of real-time RGB-D visual odometry algorithms on mobile devices. J. Real-Time Image Process. 2017, 16, 1643–1660. [CrossRef] [^33]: Tardif, J.-P.; Sturm, P.; Trudeau, M.; Roy, S.; Intelligence, M. Calibration of cameras with radially symmetric distortion. IEEE Trans. Pattern Anal. Mach. Intell. 2008, 31, 1552–1566. [CrossRef] [PubMed] [^34]: Canny, J. A computational approach to edge detection. IEEE Trans. Pattern Anal. Mach. Intell. 1986, 8, 679–698. [CrossRef] [^35]: Sudre, C.H.; Li, W.; Vercauteren, T.; Ourselin, S.; Jorge Cardoso, M. Generalised dice overlap as a deep learning loss function for highly unbalanced segmentations. In Deep Learning in Medical Image Analysis and Multimodal Learning for Clinical Decision Support; DLMIA ML-CDS 2017 2017, Lecture Notes in Computer Science; Springer: Cham, Switzerland, 2017; pp. 240–248. [^36]: Zhang, Z.; Sabuncu, M.R. Generalized cross entropy loss for training deep neural networks with noisy labels. arXiv 2018, arXiv:1805.07836. 免责声明/出版商须知：所有出版物中包含的声明、观点和数据仅代表作者和贡献者的个人观点，不代表MDPI和/或编辑部的观点。MDPI和/或编辑部对因内容中提及的任何想法、方法、说明或产品而造成的任何人身或财产损害不承担责任。