一种耐张线夹的缺陷检测方法及系统与流程

本发明涉及输电线路器件缺陷检测的，尤其是指一种耐张线夹的缺陷检测方法、系统、存储介质及计算设备。

背景技术：

1、耐张线夹是一种通过承受导线张力来固定导线的压接金具，其主要作用是承受电线塔杆绝缘子上的导线的全部拉力，同时兼顾导电性能，负责电流的输送，是输电线路的重要组成部分。

2、耐张线夹会由于输电线路本身的工程技术因素或者是由于输电线路所处的环境因素出现故障，从而导致输电线路的不稳定。为了排除这种不稳定性，对耐张线夹的定期故障检查很有必要。传统的检测方式为人工巡检，即人通过近距离观察或者是一些载具设备进行远距离观察。人工巡检有耗时耗力、安全性低、精度不高等诸多缺点。目前随着无人机技术的普及以及计算机视觉技术的进步，耐张线夹的缺陷检测有了一种稳定、高效以及高精度的巡检方案：利用无人机搭载的x射线设备拍摄耐张线夹的x射线图像，之后再利用计算机视觉的目标检测技术自动判断耐张线夹的缺陷。

3、目前有存在一些基于目标检测方法的耐张线夹缺陷检测方法，这些方法虽然能够在一定程度上完成对耐张线夹的缺陷检测任务，但是还存在一定的问题，比如说检测缺陷类型单一，检测的精确度低下等。并且大多数的检测方法只针对耐张线夹的水平成像，但是大多数场景下由于输电线路的布置耐张线夹会与水平线存在一定程度的夹角偏差，因此最终的耐张线夹成像也不是理想的水平成像，从而影响耐张线夹的缺陷检测质量。因此提出一种新的有效的耐张线夹缺陷检测方法尤为关键。

技术实现思路

1、本发明的第一目的在于克服由于耐张线夹存在倾斜从而导致目标检测的准确度降低的问题，提供一种高效、精准的耐张线夹的缺陷检测方法，可以高效、高准确度地识别多种耐张线夹缺陷，提高无人机电力巡检对耐张线夹的检查效率。

2、本发明的第二目的在于提供一种耐张线夹的缺陷检测系统。

3、本发明的第三目的在于提供一种存储介质。

4、本发明的第四目的在于提供一种计算设备。

5、本发明的第一目的通过下述技术方案实现：一种耐张线夹的缺陷检测方法，该方法基于倾斜角度预测网络和缺陷检测网络实现对耐张线夹的缺陷检测，所述倾斜角度预测网络为改进resnet网络，其将原网络的阶段1到阶段3的传统卷积替换为mobilenet的深度可分离卷积，使得在保证预测精度的情况下实现对网络模型的轻量化，将原网络的阶段4分化为两个并行的输出，实现能够同时预测倾斜角度的角度大小与倾斜方向，所述缺陷检测网络为改进yolov4网络，其将原网络的cspdarknet53的第一个卷积阶段与第二个卷积阶段的cspresnet用sknet的自适应感受野卷积替代，实现能够获取图像的多尺度特征，将原网络的空间金字塔池化spp替换为空洞空间卷积金字塔池化aspp，实现能够加强网络对不同感受野特征的解读能力，将原网络的特征融合层pan用bifpn代替，实现能够加强网络对不同尺度特征的融合能力；

6、所述缺陷检测方法的具体实施包括以下步骤：

7、1)获取并整理水平耐张线夹的高分辨率x射线图像进行数据集的构建，设计两种数据集：一种用于预测耐张线夹的倾斜角度大小与倾斜方向，记为数据集1，另一种用于检测耐张线夹的缺陷，记为数据集2；数据集1将随机角度倾斜处理过的水平耐张线夹x射线图像作为数据，将图像对应的倾斜角度大小与角度方向作为标签；数据集2将水平耐张线夹x射线图像作为数据，将记录耐张线夹缺陷位置的标记框信息作为标签；

8、2)利用数据增强方法扩充数据集1和数据集2，从而增强检测结果的鲁棒性；

9、3)用数据集1训练倾斜角度预测网络，输入数据集1的数据，输出数据对应的倾斜角度大小与倾斜方向，用均方误差mse计算预测的倾斜角度大小与标签的倾斜角度大小的损失，用交叉熵计算预测的倾斜角度方向与标签的倾斜角度方向的损失，通过反向传播迭代网络使得损失最小，得到性能最优的倾斜角度预测网络；用数据集2训练缺陷检测网络，输入数据集2的数据，输出数据对应的缺陷位置的标记框信息，用原yolov4网络的损失函数计算输出与数据集2标签的损失，通过反向传播迭代网络使得损失最小，得到性能最优的缺陷检测网络；

10、4)将待检测的耐张线夹x射线图像输入到性能最优的倾斜角度预测网络，得到该图像对应耐张线夹的倾斜角度大小与倾斜方向，根据得到的倾斜角度大小与角度方向对待检测的耐张线夹x射线图像进行水平校正，得到水平耐张线夹x射线图像，再将水平耐张线夹x射线图像输入到性能最优的缺陷检测网络，输出耐张线夹缺陷位置的标记框信息；

11、5)根据输出的标记框信息检测有关三个区域的四种待检测的缺陷，所述三个区域分别是耐张线夹钢锚的防滑槽与耐张线夹铝管压接区域，记为a区域，耐张线夹钢锚的接续管钢管与铝绞线钢芯压接区域，记为b区域，耐张线夹铝管与铝绞线压接区域，记为c区域；所述四种待检测的缺陷分别是a区域是否漏压、b区域的外围包裹的铝管是否多压、c区域是否漏压、b区域与c区域之间的间距是否超过阈值；判断完上述缺陷，即为完成耐张线夹的缺陷检测。

12、进一步，在步骤1)中，数据集1的制作方法为挑选水平的耐张线夹x射线图像，定义顺时针方向为负方向，逆时针方向为正方向，使图像绕图像中心随机倾斜一个θ角，其中θ∈(-90°，90°)；以随机倾斜后的图像作为数据，随机倾斜的角度θ大小以及倾斜的方向作为标签，构建数据-标签对，数据集1中的每张图像都配置一份标签文件，标签文件记录图像的倾斜角度大小与倾斜方向，倾斜角度记录角度数值，倾斜方向正方向记为1，负方向记为0；数据集2用labelme标注，其中标注a区域的每个凹槽、耐张线夹的所有铝管压接点、b区域的整个部位、c区域的漏压部分、c区域的非漏压部分和c区域的边缘区域，一张图像对应一份标注文件。

13、进一步，在步骤2)中，针对数据集1，对标注好的数据进行对比度变换、随机擦除以及随机噪声的数据增强操作；针对数据集2进行随机镜像、随机擦出、对比度变换以及随机噪声的数据增强操作。

14、进一步，在步骤3)中，为了实现对耐张线夹x射线图像中耐张线夹的水平校正，需要设计一个倾斜角度预测网络，该网络能够通过耐张线夹x射线图像预测耐张线夹的倾斜角度大小以及倾斜方向，从而将倾斜的耐张线夹x射线图像校正为水平位置；该倾斜角度预测网络为改进resnet网络，其以经典分类网络resnet50为基础网络，将resnet50的阶段1到阶段3中的普通卷积用mobilenet的深度可分离卷积代替，从而达到减小网络计算复杂度的作用，在阶段4中，除了上述操作，阶段4还需要分化为两个并行的通路，这两个通路同时接受来自阶段3的输出特征，一个通路用于提取耐张线夹的倾斜角度特征，另一个通路用于提取耐张线夹的倾斜方向特征；最后，阶段4输出的关于倾斜角度的特征经过线性映射得到一个1*1的输出，该输出代表输入图像的倾斜角度，正常范围在0～90°之间；阶段4输出的关于倾斜方向的特征经过线性映射与softmax得到一个1*2的输出，该输出代表耐张线夹朝正方向倾斜与朝反方向倾斜的概率，确定概率较大的一方为耐张线夹的倾斜方向。

15、进一步，在步骤3)中，为了实现对耐张线夹各个缺陷的判断，需要一个缺陷检测网络，该网络能用目标框表示出能够判断耐张线夹某个缺陷的部位；该缺陷检测网络为改进yolov4网络，其以yolov4网络作为基础模型，在该模型上根据耐张线夹x射线图像的性质以及需要检测的部位的特征性质进行优化；原yolov4网络由cspdarknet53、spp、pan、yolov3检测头四部分组成，改进yolov4网络是在原yolov4网络的基础上将cspdarknet53的第一个卷积阶段与第二个卷积阶段的cspresnet用能够获取多尺度特征的sknet的自适应感受野卷积替代，将空间金字塔池化spp调整为空洞空间卷积金字塔池化aspp，将特征融合层pan用bifpn代替；整个网络的调整相对于原yolov4网络的框架而言增强了网络对不同感受野的特征的解读能力以及对不同尺度的特征的融合能力，进而能够提高对最终目标缺陷的检测能力；该缺陷检测网络输入耐张线夹x射线图像，输出a区域凹槽标记框、b区域标记框、耐张线夹的所有压接点标记框、c区域漏压部分标记框、c区域边缘标记框和c区域正常部分标记框。

16、进一步，在步骤4)中，通过倾斜角度预测网络得到耐张线夹的倾斜角度大小与倾斜方向，之后进行水平校正操作，具体操作为：如果预测的倾斜方向为正方向，即逆时针方向，则将原图像沿图像中心顺时针旋转判断的倾斜角度，如果预测的倾斜方向为负方向，即顺时针方向，将原图像沿图像中心逆时针旋转判断的倾斜角度；将耐张线夹x射线图像水平校正以后输入到到缺陷检测网络，输出耐张线夹缺陷位置的标记框信息。

17、进一步，在步骤5)中，计算a区域漏压凹槽占a区域所有凹槽的比例，记a区域漏压凹槽的标记框数量为a，a区域正常凹槽的标记框数量为b，则比值为比值大于50％则判断a区域漏压，小于或等于50％为正常；获取b区域的标记框，记该标记框的左上角与右下角坐标为(xb1，yb1)与(xb2，yb2)，其中xb1表示b区域左上角x轴坐标，yb1表示b区域左上角y轴坐标，xb2表示b区域右下角x轴坐标，yb2表示b区域右下角y轴坐标，获取所有压接点的标记框左上角与右下角坐标(xi1，yi1)与(xi2，yi2)，其中xi1表示第i个压接点标记框左上角x轴坐标，yi1表示第i个压接点标记框左上角y轴坐标，xi2表示第i个压接点标记框右下角x轴坐标，yi2表示第i个压接点标记框右下角y轴坐标；计算压接点中心坐标其中xi表示第i个压接点的x轴坐标，yi表示第i个压接点的y轴坐标，检测是否存在xi在b区域标记框范围内，即在xb1～xb2内，如果存在在范围内的压接点，则判断b区域的外围包裹的铝管存在多压，如果都在范围外，则判断正常；获取c区域漏压部分标记框，如果无法获取该部分标记框，则判断c区域漏压情况正常，反之则获取c区域边缘标记框，如果无法获取该区域边缘标记框，则说明耐张线夹x射线图像并未将c区域显示完全，无法判断漏压情况，如果获取成功，则获取c区域正常部分标记框，计算c区域漏压部分与c区域正常部分的长度比值，如果比值大于设定值，则判断c区域为紧急漏压，比值在预设范围内，则表示c区域为重大漏压，比值小于另一个设定值，则表示c区域为一般漏压；计算b区域标记框与c区域漏压标记框的距离，如果没有检测出c区域漏压标记框，则计算b区域标记框与c区域正常标记框的距离，如果c区域漏压标记框和c区域正常标记框都没有检测出，则无法判断b区域与c区域的间距是否超过阈值，如果计算的距离大于b区域的宽度，则表示b区域与c区域距离超过阈值，反之则表示b区域与c区域距离正常。本发明的第二目的通过下述技术方案实现：一种耐张线夹的缺陷检测系统，其特征在于，用于实现上述的耐张线夹的缺陷检测方法，其包括：

18、数据构建模块，用于获取并整理水平耐张线夹的高分辨率x射线图像进行数据集的构建，设计两种数据集：一种用于预测耐张线夹的倾斜角度大小与倾斜方向，记为数据集1，另一种用于检测耐张线夹的缺陷，记为数据集2；数据集1将随机角度倾斜处理过的水平耐张线夹x射线图像作为数据，将图像对应的倾斜角度大小与角度方向作为标签；数据集2将水平耐张线夹图像作为数据，将记录耐张线夹缺陷位置的标记框信息作为标签；

19、数据增强模块，利用数据增强方法扩充数据集1和数据集2，从而增强检测结果的鲁棒性；

20、训练模块，用数据集1训练倾斜角度预测网络，输入数据集1的数据，输出数据对应的倾斜角度大小与倾斜方向，用均方误差mse计算预测的倾斜角度大小与标签的倾斜角度大小的损失，用交叉熵计算预测的倾斜角度方向与标签的倾斜角度方向的损失，通过反向传播迭代网络使得损失最小，得到性能最优的倾斜角度预测网络；用数据集2训练缺陷检测网络，输入数据集2的数据，输出数据对应的缺陷位置的标记框信息，用原yolov4网络的损失函数计算输出与数据集2标签的损失，通过反向传播迭代网络使得损失最小，得到性能最优的缺陷检测网络；

21、第一检测模块，用于将待检测的耐张线夹x射线图像输入到性能最优的倾斜角度预测网络，得到该图像对应耐张线夹的倾斜角度大小与倾斜方向，根据得到的倾斜角度大小与角度方向对待检测的耐张线夹x射线图像进行水平校正，得到水平耐张线夹图像，再将水平耐张线夹图像输入到性能最优的缺陷检测网络，输出耐张线夹缺陷位置的标记框信息；

22、第二检测模块，根据输出的标记框信息检测有关三个区域的四种待检测的缺陷，所述三个区域分别是耐张线夹钢锚的防滑槽与耐张线夹铝管压接区域，记为a区域，耐张线夹钢锚的接续管钢管与铝绞线钢芯压接区域，记为b区域，耐张线夹铝管与铝绞线压接区域，记为c区域；所述四种待检测的缺陷分别是a区域是否漏压、b区域的外围包裹的铝管是否多压、c区域是否漏压、b区域与c区域之间的间距是否超过阈值；判断完上述缺陷，即为完成耐张线夹的缺陷检测。

23、本发明的第三目的通过下述技术方案实现：一种存储介质，存储有程序，所述程序被处理器执行时，实现上述的耐张线夹的缺陷检测方法。

24、本发明的第四目的通过下述技术方案实现：一种计算设备，包括处理器以及用于存储处理器可执行程序的存储器，所述处理器执行存储器存储的程序时，实现上述的耐张线夹的缺陷检测方法。

25、本发明与现有技术相比，具有如下优点与有益效果：

26、1、本发明对耐张线夹的检测引入了水平校正的方案，能够有效解决由于图像中目标的倾斜导致现有的目标检测模型检测失准的问题。

27、2、本发明采用改进resnet网络同时预测图像耐张线夹的倾斜方向与倾斜角度，之后再进行水平校正，比起一些水平校正方案更具有准确性与稳定性。

28、3、本发明采用改进yolov4网络对耐张线夹x射线图像进行缺陷检测，相较于其它目标检测模型精度更高，并且检测速度更快。

29、4、本发明可以同时检测a区域、b区域与c区域的四种缺陷，相较于其它方法检测的缺陷更为全面。