结合YOLOv7优化的缝隙检测方法、系统和存储介质

本发明涉及混凝土裂缝监测和计算机，尤其是一种结合yolov7优化的缝隙检测方法、系统和存储介质。

背景技术：

1、混凝土是桥梁、隧道、大坝和其他基础设施中最常见的材料之一。由于温度、过载、腐蚀和定期维护不足的影响，存在各种类型的缺陷，并可能导致基础设施系统功能丧失和安全受损。传统的道路裂缝检测主要基于人工目视，但上述方法存在以下不足：1)显式地凝练关键特征也高度依赖于专业知识与技巧；2)在工程实践中工作量过大，效率低且缺乏可行性；3)人工检测难以覆盖全部区域。人工检测受限于人力和时间，难以对大面积道路进行全面检测，因此可能存在漏检的情况。4)不能实时监测：传统的检测方法通常只能进行一次性检测，不能实时监测道路裂缝状态变化。

2、因此，迫切需要发展一种可靠和有效的结构健康监测方法，拥有远距离、非接触、高精度、高效率等优点以促进对道路裂缝的检查。

技术实现思路

1、为了克服上述现有技术中缺乏可靠和有效的结构健康监测方法的缺陷，本发明提出了一种结合yolov7优化的缝隙检测方法，可实现远程高精度监测道路缝隙。

2、本发明提出的一种结合yolov7优化的缝隙检测方法，包括以下步骤：

3、s1、对传统的yolov7模型进行结构优化，作为基础模型；获取标注有裂缝类别的混凝土损伤图像作为学习样本；

4、s2、令基础模型对学习样本进行机器学习，获取收敛后的基础模型作为目标检测模型；当需要检测混凝土裂缝时，将混凝土图像输入目标检测模型，目标检测模型输出检测结果，检测结果包括裂缝类别；

5、对传统的yolov7模型进行结构优化获取基础模型的方式为：将传统的yolov7模型中的第一elan网络、第二elan网络、第三elan网络和第四elan网络均替换为mycontact-4网络，将第一elan-w网络、第二elan-w网络、第三elan-w网络和第四elan-w网络均替换为mycontact-6网络；

6、mycontact-4网络包括第一conv卷积网络、第二conv卷积网络、第三conv卷积网络、第四conv卷积网络、第五conv卷积网络、第六conv卷积网络、第五concat拼接网络和第七conv卷积网络；第二conv卷积网络、第三conv卷积网络、第四conv卷积网络、第五conv卷积网络和第六conv卷积网络顺序连接，第二conv卷积网络的输入端连接第一conv卷积网络的输入端；第一conv卷积网络的输出端、第二conv卷积网络的输出端、第四conv卷积网络的输出端和第六conv卷积网络的输出端均连接第五concat拼接网络的输入端，第五concat拼接网络的输出端连接第七conv卷积网络的输入端；第一conv卷积网络的输入端作为mycontact-4网络的输入端，第七conv卷积网络的输出端作为mycontact-4网络的输出端；

7、mycontact-6网络包括第八conv卷积网络、第九conv卷积网络、第十conv卷积网络、第十一conv卷积网络、第十二conv卷积网络、第十三conv卷积网络、第六concat拼接网络和第十四conv卷积网络；第九conv卷积网络、第十conv卷积网络、第十一conv卷积网络、第十二conv卷积网络和第十三conv卷积网络顺序连接，第九conv卷积网络的输入端连接第八conv卷积网络的输入端；第八conv卷积网络的输出端、第九conv卷积网络的输出端、第十conv卷积网络的输出端、第十一conv卷积网络的输出端、第十二conv卷积网络的输出端和第十三conv卷积网络的输出端均连接第六concat拼接网络的输入端，第六concat拼接网络的输出端连接第十四conv卷积网络的输入端；第八conv卷积网络的输入端作为mycontact-6网络的输入端，第十四conv卷积网络的输出端作为mycontact-6网络的输出端。

8、优选的，对传统的yolov7模型进行结构优化获取基础模型的方式还包括：将传统的yolov7模型中的第一concat拼接网络替换为第一multicat拼接网络，将第二concat拼接网络替换为第二multicat拼接网络；第一multicat拼接网络和第二multicat拼接网络结构相同，统称为multicat网络；

9、multicat网络包括平均池化层(mean-pooling)、最大池化层(max-pooling)和第七concat拼接网络；multicat网络设有第一输入端、第二输入端和第三输入端；平均池化层和最大池化层均连接multicat网络的第一输入端，multicat网络的第一输入端的输入数据经过平均池化和最大池化后再进行维度叠加，叠加后的数据与multicat网络的第二输入端的输入数据以及multicat网络的第三输入端输送到第七concat拼接网络进行维度采样，第七concat拼接网络的输出作为multicat网络的输出；

10、第一multicat网络的第一输入端的输入为基础模型中任一层网络的输出，第一multicat网络的第二输入端连接第三cbs-3网络的输出端，第一multicat网络的第三输入端连接第一upsample网络的输出端；第一multicat网络的输出端连接第一mycontact-6网络的输入端；

11、第二multicat网络的第一输入端输入为基础模型中任一层网络的输出，第二multicat网络的第二输入端连接第四cbs-3网络的输出端，第二multicat网络的第三输入端连接第二upsample网络的输出端；第二multicat网络的输出端连接第二mycontact-6网络的输入端。

12、优选的，第一multicat网络的第一输入端的输入为第二mycontact-4网络的输出端。

13、优选的，第二multicat网络的第一输入端的输入为第一mycontact-4网络的输出。

14、优选的，还包括步骤s3：将混凝土图像输入目标检测模型后，将目标检测模型的检测结果和目标检测模型的输入传输到设定的分割头中，分割头对混凝土图像中的裂缝进行实例分割。

15、本发明还提出了一种缝隙检测系统，包括图像获取模块、目标检测模型、分割头和裂缝展示模块；

16、图像获取模块用于获取待识别的混凝土图像；目标检测模型用于识别混凝土图像上的裂缝，分割头用于对混凝土图像中的裂缝进行实例分割，分割头将分割出的裂缝发送到裂缝展示模块进行显示。

17、本发明还提出了一种缝隙检测系统，包括存储器和处理器，存储器中存储有计算机程序，处理器连接存储器用于执行所述计算机程序，以实现所述的结合yolov7优化的缝隙检测方法。

18、本发明还提出了一种存储介质，存储有计算机程序，计算机程序被执行时用于实现所述的结合yolov7优化的缝隙检测方法。

19、本发明的优点在于：

20、(1)本发明中，通过mycontact-4网络和mycontact-6网络的设置，实现了对特征图的加权，能够提取到更有用的特征信息。本发明中，mycontact-4网络和mycontact-6网络配合，将图像的浅层特征和深层特征进行融合。浅层网络即mycontact-4网络提取的特征与输入更接近，感受野较小，重叠区域也较小，因此可以捕获更多细节和像素级信息。而深层网络即mycontact-6网络提取的特征与输出更接近，感受野增大，重叠区域增多，从而获取图像的整体性信息。通过融合这两部分特征，可以减少模型对单个特征的依赖性，提高模型的稳定性和准确性。特征融合还可以降低模型对噪声和异常值的敏感度，提高模型的鲁棒性。此外，由于这两种特征来自不同的层次，它们之间可能存在冗余或互补的关系。通过特征融合，可以将它们整合为更丰富、全面的特征表示，从而增强模型的表达能力。

21、(2)本发明中，采用multicat网络将模型中来自更早的信息进行融合，这部分信息在进入multicat网络后，会同时进行平均池化和最大池化，再对两部分内容进行相加。通过平均池化，可以计算区域内像素值的平均值，提取整体分布特征。而最大池化则选取区域内最显著的特征，对于边缘、纹理等局部特征有较好的响应。池化操作通过将输入特征图划分为不重叠的区域，并对每个区域进行汇聚(取平均或取最大值)来减小空间尺寸。池化操作可降低空间维度，这有助于减少计算量和参数数量，并使网络对平移和空间变化更加鲁棒。通过multicat网络进行多尺度融合，可以获得更全面、更丰富的特征表达，提高模型对目标物体的表示能力。此外，还可以扩大模型的感受野，使其能够捕捉到更广阔的场景信息。

22、(3)采用multicat网络可引入不同尺度的特征，使得模型可以更好地理解整个场景的上下文和全局信息，从而提高对复杂场景和大尺度目标的识别和理解能力。并且，图像中的物体可能存在尺度变化，这给目标检测、跟踪和分割等任务带来挑战。通过多尺度融合，可以使模型对尺度变化具有一定的鲁棒性。不同尺度的特征可以互补地提供关于目标物体的信息，从而增强模型对尺度变化的适应能力。