绝缘子破损检测方法、装置、存储介质和电子设备与流程

本发明涉及图像检测，尤其涉及一种绝缘子破损检测方法、装置、存储介质和电子设备。

背景技术：

1、绝缘子是一种特殊的绝缘控件，在输电和配电领域起到关键作用。它们不仅为导线提供电气绝缘，防止短路或接地故障，还具有机械支撑功能，确保承受导线和外部环境负荷。绝缘子用于电线杆塔与导线承接部，变电所构架与线路联结处。由于我国输电线路分布十分广泛，地理环境复杂，输电线缆长期暴露在野外，绝缘子可能会受到雷击，材料老化等而产生一系列的腐蚀，破损，过电压击穿等问题。分析绝缘子破损，主要是为了防止由于环境和电负荷条件发生变化引起的各种机电应力导致绝缘子绝缘失效，从而损害电力线路的使用和运行寿命。但是通过人工检测会有效率低，检出率低，安全性低，经济成本高等问题，因此为了确保绝缘子的可靠性以及安全供电，输电线路智能化巡检日益体现出其迫切性。因此，需要一种自动的、准确的、实时的监测方式，能够及时判断供电线路中绝缘子存在的破损情况，并得到及时的处理。

2、相关技术中，绝缘子破损检测任务一般分为两种。第一种直接通过目标检测算法检测破损绝缘子，第二种在一阶段检测出的绝缘子基础上对裁剪下来的绝缘子小图进行二阶段的检测或者分类。这两种方案都绕不开一个问题：破损绝缘子数据收集难度大。对于绝缘子破损检测任务，在训练数据收集时存在严重的问题：正常绝缘子占绝大多数，正常绝缘子与破损绝缘子比例严重不平衡，破损绝缘子数据采集难度大，导致利用传统目标检测或分类方案召回率普遍较低。绝缘子的可靠性对安全供电非常重要，电力公司会对破损绝缘子进行及时处理与更换，利用有限的破损数据通过传统绝缘子破损检测方法无法得到高召回率的模型。

技术实现思路

1、本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明的一个目的在于提出一种绝缘子破损检测方法、装置、存储介质和电子设备，本发明的绝缘子图像文本匹配模型，从文本和图像指导多模态的绝缘子图像文本匹配模型训练，实现高效且精准的绝缘子破损检测功能，并且通过外挂适配模块改进了beit3图像文本匹配网络结构，只训练适配模块，解决了大模型对显存的限制，得到高召回率的绝缘子破损检测模型。

2、为达到上述目的，本发明第一方面实施例提出一种绝缘子破损检测方法，所述方法包括：获取待检测图像；对所述待检测图像进行绝缘子检测，得到绝缘子图像；将所述绝缘子图像输入至预先训练好的绝缘子图像文本匹配模型，得到绝缘子图像特征；计算所述绝缘子图像特征与绝缘子破损文本特征的第一相似度和所述绝缘子图像特征与绝缘子正常文本特征的第二相似度，其中，所述绝缘子破损文本特征是将破损文本输入至所述绝缘子图像文本匹配模型得到的，所述绝缘子正常文本特征是将正常文本输入至所述绝缘子图像文本匹配模型得到的；根据所述第一相似度和所述第二相似度确定所述待检测图片中的绝缘子是否破损。

3、另外，根据本发明上述实施例提出的绝缘子破损检测方法还可以具有如下附加的技术特征：

4、根据本发明的一个实施例，所述绝缘子图像文本匹配模型通过以下方法训练得到：制作第一预设数量的绝缘子图像文本对，其中，所述绝缘子图像文本对包括第二预设数量的正常绝缘子图像文本对和第三预设数量的破损绝缘子图像文本对；将所述第一预设数量的绝缘子图像文本对输入至预先训练好的第一beit3图像文本匹配模型，并进行训练，得到训练好的绝缘子图像文本匹配模型。

5、根据本发明的一个实施例，所述第一beit3图像文本匹配模型包括第二beit3图像文本匹配模型，所述第一beit3图像文本匹配模型通过以下方法训练得到：获取训练数据集，其中，所述训练数据集包括正常图像对应文本数据和破损图像对应文本数据；利用所述训练数据集训练所述第二beit3图像文本匹配模型，得到所述第二beit3图像文本匹配模型的训练权重；加载所述第二beit3图像文本匹配模型的训练权重，根据所述第二beit3图像文本匹配模型的训练权重训练所述第一beit3图像文本匹配模型，得到训练好的第一beit3图像文本匹配模型。

6、根据本发明的一个实施例，所述获取训练数据集，包括：爬取预设种类的图片集，其中，所述图片集包括破损物体图片和正常物体图片；按照预设比例将所述图片集分开，得到第一子图片集和第二子图片集；对所述第一子图片集进行筛选，并剔除噪声图片，得到第三子图片集；利用所述第一beit3图像文本匹配模型对所述第三子图片集进行清洗，得到数据清洗模型；利用所述数据清洗模型对所述第二子图片集进行清洗，并将所述清洗后的数据作为训练数据集。

7、根据本发明的一个实施例，所述第一beit3图像文本匹配模型还包括适配模型，所述第二beit3图像文本匹配模型的输出连接所述适配模型的输入，所述根据所述第二beit3图像文本匹配模型的训练权重训练所述第一beit3图像文本匹配模型，包括：根据所述第二beit3图像文本匹配模型的训练权重训练所述适配模型，得到所述适配模块的训练权重。

8、根据本发明的一个实施例，所述第二beit3图像文本匹配模型包括图像特征提取模块、文本特征提取模块和第一损失函数模块，所述图像特征提取模块和所述文本特征提取模块的输出分别连接所述第一损失函数模块的输入，所述第一损失函数模块的输出作为所述第二beit3图像文本匹配模型的输出。

9、根据本发明的一个实施例，所述适配模型包括依次相连的下采样模块、非线性层模块、上采样模块、残差模块和第二损失函数模块，所述第二损失函数模块的输出作为所述第一beit3图像文本匹配模型的输出。

10、根据本发明的一个实施例，所述第一相似度包括第一余弦相似度，所述第二相似度包括第二余弦相似度，所述根据所述第一相似度和所述第二相似度确定所述待检测图片中的绝缘子是否破损，包括：若所述第一余弦相似度大于所述第二余弦相似度，则确定所述待检测图片中的绝缘子破损。

11、本发明实施例的绝缘子破损检测方法，针对需求以及破损绝缘子数据量的限制选择目标检测算法+多模态文本图像匹配算法两阶段联合实现绝缘子破损检测。首先从图像中检测出所有的绝缘子(即一阶段)，再将一阶段检测出的绝缘子在原图裁剪下来，裁剪下来的绝缘子小图输入多模态图像特征提取模块，与事先经过特征提取的文本(brokeninsulator、normal insulator)进行相似度的比较，与相似度大的文本进行匹配，以判断此绝缘子是否存在破损。本发明在beit3预训练模型的基础上在预训练模型中插入额外的模块，从而方便地微调模型。冻结beit3原始网络参数，只训练adapter模块，解决了大模型对显存的限制。本发明将多模态文本图像匹配算法应用到绝缘子破损检测中，同时利用有限的绝缘子破损数据在预训练模型中微调额外的模块，得到高召回率的绝缘子破损检测模型。

12、为达到上述目的，本发明第二方面实施例提出了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如上述的绝缘子破损检测方法。

13、为达到上述目的，本发明第三方面实施例提出了一种绝缘子破损检测装置，所述装置包括：获取模块，用于获取待检测图像；检测模块，用于对所述待检测图像进行绝缘子检测，得到绝缘子图像；输入模块，用于将所述绝缘子图像输入至预先训练好的绝缘子图像文本匹配模型，得到绝缘子图像特征；计算模块，用于计算所述绝缘子图像特征与绝缘子破损文本特征的第一相似度和所述绝缘子图像特征与绝缘子正常文本特征的第二相似度，其中，所述绝缘子破损文本特征是将破损文本输入至所述绝缘子图像文本匹配模型得到的，所述绝缘子正常文本特征是将正常文本输入至所述绝缘子图像文本匹配模型得到的；确定模块，用于根据所述第一相似度和所述第二相似度确定所述待检测图片中的绝缘子是否破损。

14、为达到上述目的，本发明第四方面实施例提出了一种电子设备，包括存储器和处理器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现如上述的绝缘子破损检测方法。

15、本发明实施例的绝缘子破损检测装置、存储介质和电子设备，针对需求以及破损绝缘子数据量的限制选择目标检测算法+多模态文本图像匹配算法两阶段联合实现绝缘子破损检测。首先从图像中检测出所有的绝缘子(即一阶段)，再将一阶段检测出的绝缘子在原图裁剪下来，裁剪下来的绝缘子小图输入多模态图像特征提取模块，与事先经过特征提取的文本(broken insulator、normal insulator)进行相似度的比较，与相似度大的文本进行匹配，以判断此绝缘子是否存在破损。本发明在beit3预训练模型的基础上在预训练模型中插入额外的模块，从而方便地微调模型。冻结beit3原始网络参数，只训练adapter模块，解决了大模型对显存的限制。本发明将多模态文本图像匹配算法应用到绝缘子破损检测中，同时利用有限的绝缘子破损数据在预训练模型中微调额外的模块，得到高召回率的绝缘子破损检测模型。

16、本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。