基于无人机双光融合绝缘子缺陷检测方法及系统与流程

1.本发明属于电力设备检测技术领域，尤其涉及一种基于无人机双光融合绝缘子缺陷检测方法、系统、设备及存储介质。


背景技术：

2.现如今人类的生活并不能离开电能，而且随着经济的快速发展人类对电能的需求会越来越广泛，受到地形地貌等的影响，一些电能输送必须依靠架空输电线路，架空输电线路解决了电能远距离输送的问题。电气设备在户外运行一段时间之后，由于长期受到风吹日晒、天气恶劣、环境温度等因素的影响，输电线路部件易出现老化、破损等现象，影响着电网线路的正常运行。因此为保证整个供电系统的稳定运行，就要对输电线路针对性地进行定期检测，对于老化、破损部件要做到及时发现并更换。绝缘子串悬挂于杆塔之上，是用于连接输电线路的连接器件，被大量应用在户外输电线路上，并发挥着非常重要的作用。在线路与杆塔之间，绝缘子不仅作为电气绝缘器件进行绝缘，同时作为输电线路的机械支撑，使得电能能够进行隔空输送。如果绝缘子发生故障且不能被及时处理，引起闪络等事故的发生，则会导致整条线路发生故障，而且对经济发展造成一定的损失。
3.目前基于无人机对设备缺陷进行巡检无法在现场实时开展，需要由无人机将视频导入电脑，由后台人员逐帧识别。因此线路缺陷的识别效率低，耗时久，视频分析也要求人员具备丰富的巡检经验。


技术实现要素：

4.为解决上述问题，本发明的目的是提供一种基于无人机双光融合绝缘子缺陷检测方法、系统、设备及存储介质，该方法能够自动获取绝缘子的图像并自动对其进行缺陷检测，提高检测效率和准确率。
5.为实现上述目的，本发明的技术方案为：一种基于无人机双光融合绝缘子缺陷检测方法，包括以下步骤：获取待检测的绝缘子视频并逐帧进行解析以获取图片；其中所述绝缘子视频包括可见光视频和红外光视频，经逐帧解析后分别获取可见光图片和红外光图片；对所述可见光图片进行绝缘子目标检测以确定绝缘子包括位置坐标、长宽以及倾斜角度的标记信息；将可见光图片中的绝缘子标记信息仿射至红外光图片中，以确定红外光图片中绝缘子的位置坐标、长宽以及倾斜角度；对可见光图片进行绝缘子缺陷检测；对红外光图片进行绝缘子红外热分析以获取绝缘子温度信息，并通过相对温差判断法来确定绝缘子是否过热而导致缺陷；根据预设程序判断所述绝缘子是否存在缺陷。
6.在本发明的一个实施例中，对所述可见光图片进行绝缘子目标检测以确定绝缘子的位置坐标、长宽包括：获取可见光图片，通过mosaic数据增强、自适应锚框计算、自适应图片缩放生成相应的自适应锚框；采用focus结构对图片进行切片操作，从高分辨率图像中，周期性的抽出像素点重构到低分辨率图像中；采用csp结构将基础层的特征映射划分为两部分，然后通过跨阶段层次结构将它们合并；通过上述方式训练获取的yolov5模型，能够对
绝缘子进行目标检测，确定绝缘子的位置坐标、方框大小及长宽。
7.在本发明的一个实施例中，对所述可见光图片进行绝缘子目标检测以确定绝缘子的倾斜角度包括：使用最长边表示法来表示目标方框，包扩x_c，y_c，longside，shortside，以及θ；其中，x_c与y_c表示旋转矩形框的中心坐标，longside表示最长的边；shortside是与longside对应的另一条边；θ表示最长边到x轴逆时针旋转的夹角，逆时针方向角度为负 ，θ∈[-180, 0)；将θ由回归问题转为分类问题，在yolov5原本的框架中，修改数据加载、预测部分、损失函数部分的代码，从而实现旋转目标的检测以及确定绝缘子的倾斜角度。
[0008]
在本发明的一个实施例中，所述将可见光图片中的绝缘子标记信息仿射至红外光图片中包括：通过仿射变换模型将点进行迁移，，其中，（x,y）、分别是可见光图片和红外光图片中对应点的坐标；选取复数个点对，使用最小二乘法确定最优的参数矩阵；m即为最优的变换矩阵，x：变换前点对组成的矩阵，y：变换后点对组成的矩阵， ；基于获取的参数矩阵进行绝缘子标记信息的仿射变换。
[0009]
在本发明的一个实施例中，所述对可见光图片进行绝缘子缺陷检测之前还包括：获取可见光视频并逐帧解析为可见光图片；通过yolov5对可见光图片进行绝缘子目标检测训练；将检测出的绝缘子分割出来，并在分割出来的图片中进行绝缘子缺陷检测的标注，使用yolov5对绝缘子数据进行缺陷检测；训练结束之后，将训练好的模型上传至云端服务器，用于对所述绝缘子进行目标检测和缺陷检测。
[0010]
在本发明的一个实施例中，所述对红外光图片进行绝缘子红外热分析以获取绝缘子温度信息，并通过相对温差判断法来确定绝缘子是否过热而导致缺陷包括：获取绝缘子各个像素的温度信息；对照 gb/t 11022 中高压开关设备和控制设备各种部件、材料及绝缘介质的温度和温升极限的有关规定,结合环境气候条件、负荷大小进行分析；获取绝缘子的像素位置并提取对应的温度值，找到其中的最高温，温度值从大到小排列，前三分之一的温度平均值作为对比温度值，根据预设规则判断是否发热。
[0011]
在本发明的一个实施例中，所述根据预设程序判断所述绝缘子是否存在缺陷之后还包括：基于所述判断结果、无人机经纬度、高度，生成该绝缘子报告标记信息；将绝缘子报告标记信息映射到三维世界坐标系中，并在本次巡检结束之后生成巡检报告。
[0012]
基于相同的构思，本发明还提供一种基于无人机双光融合绝缘子缺陷检测系统，包括：获取模块，用于获取待检测的绝缘子视频并逐帧进行解析以获取图片；其中所述绝缘子视频包括可见光视频和红外光视频，经逐帧解析后分别获取可见光图片和红外光图片；目标检测模块，用于对所述可见光图片进行绝缘子目标检测以确定包括绝缘子的位置坐标、长宽以及倾斜角度的标记信息；仿射模块，用于将可见光图片中的绝缘子标记信息仿射至红外光图片中，以确定红外光图片中绝缘子的位置坐标、长宽以及倾斜角度；缺陷检测模块，用于对可见光图片进行绝缘子缺陷检测；红外分析模块，用于对红外光图片进行绝缘子红外热分析以获取绝缘子温度信息，并通过相对温差判断法来确定绝缘子是否过热而导致缺陷；判断模块，用于根据预设程序判断所述绝缘子是否存在缺陷。
[0013]
基于相同的构思，本发明还提供一种电子设备，包括：存储器，所述存储器用于存储处理程序；处理器，所述处理器执行所述处理程序时实现所述的基于无人机双光融合绝
缘子缺陷检测方法。
[0014]
基于相同的构思，本发明还提供一种可读存储介质，所述可读存储介质上存储有处理程序，所述处理程序被处理器执行时实现所述的基于无人机双光融合绝缘子缺陷检测方法。
[0015]
本发明由于采用以上技术方案，使其与现有技术相比具有以下的优点和积极效果：1、本发明基于能够获取可见光视频和红外光视频的无人机，通过双光融合对获取的视频进行自动检测分析，实现绝缘子缺陷的快速检测，避免了现有技术需要人工根据无人机传回的视频进行逐帧识别，并且要求识别人员具有丰富的巡检经验，提高了巡检效率。
[0016]
2、本发明通过在可见光图片中借助旋转目标检测算法框选出绝缘子的位置，并通过双光融合算法将可见光中的方框迁移到红外光图片中，实现红外光图片中绝缘子位置的准确定位，进而通过红外热分析工具获取绝缘子的温度信息，并通过相对温差判断法来判断绝缘子是否过热而导致缺陷，提高了绝缘子缺陷检测的准确性。
[0017]
3、本发明通过基于判断结果、无人机经纬度、高度，生成该绝缘子报告标记信息，并将报告标记信息映射至三维世界坐标系中，方便后续的追踪、复检和器件更换施工。
附图说明
[0018]
下面结合附图对本发明的具体实施方式作进一步详细说明，其中：图1 为本发明基于无人机双光融合绝缘子缺陷检测方法流程示意图；图2 为本发明的最长边表示法示意图；图3 为本发明红外成像相机与可见光相机的相对位姿示意图；图4 为本发明仿射变换示意图。
具体实施方式
[0019]
以下结合附图和具体实施例对本发明作进一步详细说明。根据下面说明和权利要求书，本发明的优点和特征将更清楚。需说明的是，附图均采用非常简化的形式且均使用非精准的比率，仅用以方便、明晰地辅助说明本发明实施例的目的。
[0020]
需要说明，本发明实施例中所有方向性指示(诸如上、下、左、右、前、后
……
)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
[0021]
如图1所示，本发明提供一种基于无人机双光融合绝缘子缺陷检测方法，包括以下步骤：s100：获取待检测的绝缘子视频并逐帧进行解析以获取图片；其中所述绝缘子视频包括可见光视频和红外光视频，经逐帧解析后分别获取可见光图片和红外光图片；s200：对所述可见光图片进行绝缘子目标检测以确定绝缘子包括位置坐标、长宽以及倾斜角度的标记信息；s300：将可见光图片中的绝缘子标记信息仿射至红外光图片中，以确定红外光图片中绝缘子的位置坐标、长宽以及倾斜角度；s400：对可见光图片进行绝缘子缺陷检测；
s500：对红外光图片进行绝缘子红外热分析以获取绝缘子温度信息，并通过相对温差判断法来确定绝缘子是否过热而导致缺陷；s600：根据预设程序判断所述绝缘子是否存在缺陷。
[0022]
基于能够获取可见光视频和红外光视频的无人机，通过双光融合对获取的视频进行自动检测分析，实现绝缘子缺陷的快速检测，避免了现有技术需要人工根据无人机传回的视频进行逐帧识别，并且要求识别人员具有丰富的巡检经验，提高了巡检效率。通过在可见光图片中借助旋转目标检测算法框选出绝缘子的位置，并通过双光融合算法将可见光中的方框迁移到红外光图片中，实现红外光图片中绝缘子位置的准确定位，进而通过红外热分析工具获取绝缘子的温度信息，并通过相对温差判断法来判断绝缘子是否过热而导致缺陷，提高了绝缘子缺陷检测的准确性。
[0023]
优选的，所述的基于无人机双光融合绝缘子缺陷检测方法，对所述可见光图片进行绝缘子目标检测以确定绝缘子的位置坐标、长宽包括：获取可见光图片，通过mosaic数据增强、自适应锚框计算、自适应图片缩放生成相应的自适应锚框；采用focus结构对图片进行切片操作，从高分辨率图像中，周期性的抽出像素点重构到低分辨率图像中；采用csp结构将基础层的特征映射划分为两部分，然后通过跨阶段层次结构将它们合并；通过上述方式训练获取的yolov5模型，能够对绝缘子进行目标检测，确定绝缘子的位置坐标、方框大小及长宽。
[0024]
本发明在one-stage中借鉴精度最佳的yolov5作为目标检测算法，架构图如下，并作出如下适应绝缘子检测的改动：1、自适应锚框计算，针对不同的数据集，都会有初始设定长宽的锚框，对应绝缘子数据集，生成相应的自适应锚框；2、在主干网络中使用focus结构，对图片进行切片操作，提高准确率；3、在neck网络中，采用借鉴cspnet设计的csp2结构，加强网络特征融合的能力。
[0025]
具体来说，mosaic数据增强: mosaic数据增强则采用了4张图片，随机缩放、随机裁剪、随机排布的方式进行拼接,对于小目标的检测效果良好。
[0026]
自适应锚框计算：在网络训练中，网络在初始锚框的基础上输出预测框，进而和真实框groundtruth进行比对，计算两者差距，再反向更新，迭代网络参数，找到最适合数据集的锚框大小。
[0027]
自适应图片缩放：在常用的目标检测算法中，不同的图片长宽都不相同，因此常用的方式是将原始图片统一缩放到一个标准尺寸，再送入检测网络中。 在缩放过程中，对原始图像自适应的添加最少的黑边，图像高度上两端的黑边变少后，在推理过程中的计算量也会减少，即目标检测速度得到提升。
[0028]
在backbone中采用focus结构对图片进行切片操作，从高分辨率图像中，周期性的抽出像素点重构到低分辨率图像中，即将图像相邻的四个位置进行堆叠，聚焦wh维度信息到c通道空，提高每个点感受野，并减少原始信息的丢失。从计算量角度可以减少计算量，增快运算速度。
[0029]
例如，4*4*3的图像切片后变成2*2*12的特征图。
[0030]
在backbone和neck中采用csp结构，基础层的特征映射划分为两部分，然后通过跨阶段层次结构将它们合并，在减少了计算量的同时可以保证准确率。
[0031]
通过上述方式训练获取的yolov5模型，能够对绝缘子进行目标检测，确定绝缘子的位置坐标、方框大小及长宽。
[0032]
优选的，对所述可见光图片进行绝缘子目标检测以确定绝缘子的倾斜角度包括：使用最长边表示法来表示目标方框，包扩x_c，y_c，longside，shortside，以及θ；其中，x_c与y_c表示旋转矩形框的中心坐标，longside表示最长的边；shortside是与longside对应的另一条边；θ表示最长边到x轴逆时针旋转的夹角，逆时针方向角度为负 ，θ∈[-180, 0)；将θ由回归问题转为分类问题，在yolov5原本的框架中，修改数据加载、预测部分、损失函数部分的代码，从而实现旋转目标的检测以及确定绝缘子的倾斜角度。
[0033]
如图2所示，在本发明的一个实施例中，所述对所述可见光图片进行绝缘子目标检测以确定绝缘子的倾斜角度包括：使用最长边表示法来表示目标方框，包扩x_c，y_c，longside，shortside，以及θ；其中，x_c与y_c表示旋转矩形框的中心坐标，longside表示最长的边；shortside是与longside对应的另一条边；θ表示最长边到x轴逆时针旋转的夹角，逆时针方向角度为负 ，θ∈[-180, 0)；将θ由回归问题转为分类问题，在yolov5原本的框架中，修改数据加载、预测部分、损失函数部分的代码，从而实现旋转目标的检测以及确定绝缘子的倾斜角度。
[0034]
原始yolov5项目的应用场景为自然场景下的目标，目标检测边框为水平矩形框（horizontal bounding box，hbb）。目标检测方法所采取的边框标注方式要按照被检测物体本身的形状特征进行改变，与此同时，绝缘子姿态是无法确定的，因此使用旋转目标检测模块进行目标检测。通过确定绝缘子的倾斜角度，能够精确的确定绝缘子的位置。确认绝缘子角度，旋转边框标记方式，具有以下优点：1、标注方式越精准，提供给网络训练时的冗余信息就越少；先验越充分，网络的可学习方案就越少，有利于约束网络的训练方向和减少网络的收敛时间；2、当目标物体过于紧密时，精准的标注方式可以避免被非极大值抑制(non-maximum suppression (nms))“错杀”已经检出的目标。
[0035]
优选的，所述将可见光图片中的绝缘子标记信息仿射至红外光图片中包括：通过仿射变换模型将点进行迁移， ，其中，（x，y） 、 分别是可见光图片和红外光图片中对应点的坐标；选取复数个点对，使用最小二乘法确定最优的参数矩阵；m即为最优的变换矩阵，x：变换前点对组成的矩阵，y：变换后点对组成的矩阵， ；基于获取的参数矩阵进行绝缘子标记信息的仿射变换。
[0036]
具体的，如图3和图4所示，将可见光图片的中绝缘子标记方框迁移到红外光图片中，实现可见光图像与热成像图像的双光融合。无人机在空中飞行过程中可见光相机与热成像相机的相对位姿保持不变，如图4所示，即可以认为热成像图像上的每一点变换到可见光图像上都可以用一个相同的变换模型来描述。通过仿射变换的模型将点进行迁移，需要
确定中的6个参数的向量，其中 （x，y） ， ，分别是可见光图像和热成像图像中对应点的坐标，向量决定了两幅图像坐标之间的变换关系。选取尽可能多的点对，使用最小二乘法确定最优的参数矩阵，假设一共选取了n对点，并求出了组变换参数矩阵，分别用变换前的点对矩阵，变换后的点对矩阵和变换参数矩阵构建如下所示的公式：，x：变换前点对组成的矩阵（n*3），y：变换后点对组成的矩阵（n*2），构造如下的等式：xm=y；所示，m即为最优的变换矩阵即最优变换参数。图3中，fa：红外相机坐标系，fb：相机坐标系，fc：可见光相机坐标系。
[0037]
通过同一时间点的1张双光照片对应关系确定最优变换参数，这些变换参数应用于别的时间点时，需要考虑无人机经纬度、高度、相机焦距、无人机姿态等变换产生的偏差。需要从四个方面进行修正才能保证变换参数适用于所有的图片：俯仰角偏差，航向角偏差，经纬度偏差，高度与角度偏差。通过上述四个方法得到无人机分别在x,y,z轴上的实际距离偏差，根据世界坐标系与像素坐标系之间的映射关系将此偏差映射到像素距离上，实现图像像素上的偏差修正。
[0038]
优选的，所述对可见光图片进行绝缘子缺陷检测之前还包括：获取可见光视频并逐帧解析为可见光图片；通过yolov5对可见光图片进行绝缘子目标检测训练；将检测出的绝缘子分割出来，并在分割出来的图片中进行绝缘子缺陷检测的标注，使用yolov5对绝缘子数据进行缺陷检测；训练结束之后，将训练好的模型上传至云端服务器，用于对所述绝缘子进行目标检测和缺陷检测。
[0039]
优选的，所述对红外光图片进行绝缘子红外热分析以获取绝缘子温度信息，并通过相对温差判断法来确定绝缘子是否过热而导致缺陷包括：获取绝缘子各个像素的温度信息；对照 gb/t 11022 中高压开关设备和控制设备各种部件、材料及绝缘介质的温度和温升极限的有关规定,结合环境气候条件、负荷大小进行分析；获取绝缘子的像素位置并提取对应的温度值，找到其中的最高温，温度值从大到小排列，前三分之一的温度平均值作为对比温度值，根据预设规则判断是否发热。
[0040]
更具体的，通过大疆红外热分析工具获取绝缘子各个像素的温度信息。 对照 gb/t 11022 中高压开关设备和控制设备各种部件、材料及绝缘介质的温度和温升极限的有关规定,结合环境气候条件、负荷大小进行分析判断。获取绝缘子的像素位置并提取对应的温度值，找到其中的最高温，温度值从大到小排列，前三分之一的温度平均值作为对比温度值，则过热缺陷判定规则如下表：
可见光缺陷检测和红外光缺陷检测并行处理，任一方式检测到有缺陷，则判断绝缘子有缺陷，并将检测信息汇总到云端服务器中。
[0041]
优选的，所述根据预设程序判断所述绝缘子是否存在缺陷之后还包括：基于所述判断结果、无人机经纬度、高度，生成该绝缘子报告标记信息；将绝缘子报告标记信息映射到三维世界坐标系中，并在本次巡检结束之后生成巡检报告。
[0042]
通过基于判断结果、无人机经纬度、高度，生成该绝缘子报告标记信息，并将报告标记信息映射至三维世界坐标系中，方便后续的追踪、复检和器件更换施工。
[0043]
基于相同的发明构思，本发明还提供一种基于无人机双光融合绝缘子缺陷检测系统，其特征在于，包括：获取模块，用于获取待检测的绝缘子视频并逐帧进行解析以获取图片；其中所述绝缘子视频包括可见光视频和红外光视频，经逐帧解析后分别获取可见光图片和红外光图片；目标检测模块，用于对所述可见光图片进行绝缘子目标检测以确定包括绝缘子的位置坐标、长宽以及倾斜角度的标记信息；仿射模块，用于将可见光图片中的绝缘子标记信息仿射至红外光图片中，以确定红外光图片中绝缘子的位置坐标、长宽以及倾斜角度；缺陷检测模块，用于对可见光图片进行绝缘子缺陷检测；红外分析模块，用于对红外光图片进行绝缘子红外热分析以获取绝缘子温度信息，并通过相对温差判断法来确定绝缘子是否过热而导致缺陷；判断模块，用于根据预设程序判断所述绝缘子是否存在缺陷。
[0044]
基于能够获取可见光视频和红外光视频的无人机，通过双光融合对获取的视频进行自动检测分析，实现绝缘子缺陷的快速检测，避免了现有技术需要人工根据无人机传回的视频进行逐帧识别，并且要求识别人员具有丰富的巡检经验，提高了巡检效率。通过在可见光图片中借助旋转目标检测算法框选出绝缘子的位置，并通过双光融合算法将可见光中的方框迁移到红外光图片中，实现红外光图片中绝缘子位置的准确定位，进而通过红外热分析工具获取绝缘子的温度信息，并通过相对温差判断法来判断绝缘子是否过热而导致缺陷，提高了绝缘子缺陷检测的准确性。
[0045]
基于相同的发明构思，本发明还提供一种电子设备，包括：存储器，所述存储器用于存储处理程序；处理器，所述处理器执行所述处理程序时实现所述的基于无人机双光融合绝缘子缺陷检测方法。
[0046]
基于相同的发明构思，本发明还提供一种可读存储介质，所述可读存储介质上存储有处理程序，所述处理程序被处理器执行时实现所述的基于无人机双光融合绝缘子缺陷检测方法。
[0047]
基于无人机双光融合绝缘子缺陷检测方法如果以程序指令的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件的形式体现出来，该计算机软件存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器（read-only memory，rom）、随机存取存储器（random access memory，ram）、磁碟或者光盘等各种可以存储程序代码的介质。
[0048]
所属领域的技术人员可以清楚地了解到，为描述得方便和简洁，上述描述的系统及设备的具体执行的识别内容，可以参考前述方法实施例中的对应过程。
[0049]
上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式。即使对本发明作出各种变化，倘若这些变化属于本发明权利要求及其等同技术的范围之内，则仍落入在本发明的保护范围之中。