一种基于YOLOv8和Transformer编码器相结合的工地安全检测系统及方法与流程

本发明属于工地安全检测，具体涉及一种基于yolov8和transformer编码器相结合的工地安全检测系统及方法。

背景技术：

1、工地施工作业过程中，存在着较多安全隐患，安全事故的发生率居高不下。在长期的实践论证中，人工巡检的效率极低，很依赖于现场经验丰富的管理人员，需要他们实时的进行观察和检查，又费时又费力，存在着自动化水平较低、工作量较大和检查项目有限的情况，极容易出现漏检等情况，造成安全隐患。

2、而近年来，图像识别技术取得了重大进展，但传统的图像识别系统在处理工地现场的小目标时，往往受限于网络结构和算法效率，难以实现快速准确的识别。yolov8虽然在目标检测领域有所突破，但在小目标识别方面仍有改进空间。transformer编码器在特征提取方面表现出色，但其如何与图像信息充分整合仍有研究空间。传统方法将图像简单分割后向量化输入到transformer编码器，损失了图像的部分信息，因此无法有效应用于工地安全检测，获取准确的检测结果。

技术实现思路

1、本发明针对现有技术下的问题，提供了一种基于yolov8和transformer编码器相结合的工地安全检测系统及方法，本发明旨在通过结合yolov8和transformer编码器这两种技术，并引入独创的sppfs模块，解决现有技术中的不足。

2、为了达到上述目的，本申请采用的技术方案为：

3、第一方面，本发明提供了一种基于yolov8和transformer编码器相结合的工地安全检测系统，包括：

4、工地安全图像采集模块，用于在工地采集图像，并收集传回的图像数据；

5、图像数据标注与数据集划分模块，对图像数据进行标注，将图像数据划分训练集、验证集及测试集；

6、神经网络模型，基于改进的sppfs模块插入yolo v8l模型的主干网络，将主干网络的输出向量转换为高维向量，高维向量接入transformer编码器，transformer编码器的输出接入多层感知器，多层感知器用于对潜在的安全情况进行检测及分类；通过训练集对神经网络模型进行训练，训练主干网络的卷积层参数，transformer编码器的参数及模型尾部多层感知器参数；使用验证集对模型进行调优，获得训练完成的模型；利用测试集对训练完成的模型进行测试，获取输出；测试通过的模型用于对工地现场图像进行处理，识别潜在的安全风险。

7、进一步的，所述神经网络模型完整的网络结构为：图像输入-cbs-cbs-c2f-cbs-c2f-cbs-c2f-sppfs-transformer编码器-多层感知器-输出。

8、进一步的，cbs模块由conv, bn, silu模块构成，结构为：conv-bn-silu。

9、进一步的，c2f模块由conv, split, bottleneck, concat模块构成，结构为：conv-split-bottleneck_1-bottleneck_2-concat-conv。

10、进一步的，sppfs模块由sppf特征金字塔模块改进，sppfs模块由conv,maxpooling_1, maxpooling_2, concat, conv模块组成，其中，conv, maxpooling_1,maxpooling_2分别与concat层相连。

11、进一步的，bottleneck模块为两层conv和一层concat模块顺次连接，并且模块输入与concat相连。

12、进一步的，主干网络和transformer编码器的连接方式为，将主干网络的2020512格式转换为400个512维的向量，输入到transformer编码器运算。

13、第二方面，本发明提供了一种如第一方面所述的基于yolov8和transformer编码器相结合的工地安全检测系统的工作方法，包括：

14、通过工地安全图像采集模块在工地采集图像，并收集传回的图像数据；

15、通过图像数据标注与数据集划分模块对图像数据进行标注，将图像数据划分训练集、验证集及测试集；

16、通过神经网络模型对工地现场图像进行处理，识别潜在的安全风险；神经网络模型预先通过训练集进行训练，使用验证集对模型进行调优，利用测试集对训练完成的模型进行测试，获取输出。

17、与现有技术相比，本发明的优点和积极效果在于：

18、本发明融合了yolov8和transformer编码器在特征提取方面的优势，精简了yolov8主干网络以平衡精度和效果，优化sppfs模块以弱化对大目标的特征提取能力，换来更快的速度和对小目标的精确检测，具体是将基于sppf模块改进的sppfs模块插入yolov8l模型的主干网络的尾部，以替换原有的sppf模块；删除主干网络尾部的cbs模块和c2f模块，直接接入sppfs模块；将主干网络的输出向量由4040512的特征向量展平，转换为1600个512维的高维向量以满足transformer编码器的输入，然后将高维向量接入transformer编码器，然后将编码器的输出接入一个多层感知器，最后多层感知器可以对潜在的安全情况进行检测及分类；改进的yolo v8m主干网络包括cbs模块，c2f模块，sppfs模块，有效提高了对大目标的特征提取能力，提高了检测效率和对小目标的检测精度。

技术特征：

1.一种基于yolov8和transformer编码器相结合的工地安全检测系统，其特征在于，包括：

2.根据权利要求1所述的一种基于yolov8和transformer编码器相结合的工地安全检测系统，其特征在于，所述神经网络模型完整的网络结构为：图像输入-cbs-cbs-c2f-cbs-c2f-cbs-c2f-sppfs-transformer编码器-多层感知器-输出。

3.根据权利要求2所述的一种基于yolov8和transformer编码器相结合的工地安全检测系统，其特征在于，cbs模块由conv, bn, silu模块构成，结构为：conv-bn-silu。

4.根据权利要求2所述的一种基于yolov8和transformer编码器相结合的工地安全检测系统，其特征在于，c2f模块由conv, split, bottleneck, concat模块构成，结构为：conv-split-bottleneck_1-bottleneck_2-concat-conv。

5.根据权利要求2所述的一种基于yolov8和transformer编码器相结合的工地安全检测系统，其特征在于，sppfs模块由sppf特征金字塔模块改进，sppfs模块由conv,maxpooling_1, maxpooling_2, concat, conv模块组成，其中，conv, maxpooling_1,maxpooling_2分别与concat层相连。

6.根据权利要求4所述的一种基于yolov8和transformer编码器相结合的工地安全检测系统，其特征在于，bottleneck模块为两层conv和一层concat模块顺次连接，并且模块输入与concat相连。

7.根据权利要求1所述的一种基于yolov8和transformer编码器相结合的工地安全检测系统，其特征在于，主干网络和transformer编码器的连接方式为，将主干网络的2020512格式转换为400个512维的向量，输入到transformer编码器运算。

8.一种如权利要求1所述的基于yolov8和transformer编码器相结合的工地安全检测系统的工作方法，其特征在于，包括：

技术总结
本发明提出一种基于YOLOv8和Transformer编码器相结合的工地安全检测系统及方法，属于工地安全检测技术领域，包括：工地安全图像采集模块，用于在工地采集图像，并收集传回的图像数据；图像数据标注与数据集划分模块，对图像数据进行标注，将图像数据划分训练集、验证集及测试集；神经网络模型，基于改进的SPPFS模块插入YOLO v8l模型的主干网络，将主干网络的输出向量转换为高维向量，高维向量接入编码器，编码器的输出接入多层感知器，多层感知器用于对潜在的安全情况进行检测及分类；精简了YOLOv8主干网络以平衡精度和效果，有效提高了对大目标的特征提取能力，提高了检测效率和对小目标的检测精度。

技术研发人员：邵嘉豪,陈其宾,姜凯,张佳宁
受保护的技术使用者：山东浪潮科学研究院有限公司
技术研发日：
技术公布日：2024/5/8