输电线路无人机巡检机载前端缺陷实时识别方法及装置与流程

本发明涉及架空输配电线路运行维护，并且更具体地，涉及一种输电线路无人机巡检机载前端缺陷实时识别方法及装置。

背景技术：

1、随着输电线路不断增长，传统的人工巡检已无法满足运维需求。自2013年以来，国网、南网公司开展输电线路无人机智能巡检，目前已实现无人机规模化，规范化应用，年巡检图像超过8000w张，发现缺陷约75万余处，发现缺陷类型涵盖杆塔、绝缘子、金具、导地线、基础、通道环境、接地装置、附属设置等全部类型。通过深度学习进行目标检测，从而高效准确的识别海量图像中的缺陷，是节省人力物力、提高巡检效率的必须选择。

2、深度学习已经被广泛应用于图像识别领域。其在人脸识别，汽车自动驾驶等领域均已形成较为成熟的框架体系。近些年来基于深度学习的目标识别算法取得了很大突破，比较流行的算法可以分为两大类：一类是基于区域提名的目标识别算法，被称为two-stage目标识别算法，由region proposal算法生成一系列的样本作为候选框，再通过卷积神经网络对样本进行分类，其代表算法为faster-rcnn；第二类是one-stage目标识别算法，不用产生候选框，直接将目标边框定位的问题转换为位置的回归问题,其代表算法为yolo系列。两类方法的差异导致性能也有差异，前者在分类准确率和定位精度上占优势，后者在运行速度上有优势。

3、通过构建适用于无人直升机吊舱的巡检图像智能识别前端系统，可实现采集数据前端预处理和实时识别。前端缺陷检测模块将集成于吊舱，辅助无人直升机自主巡检定位巡检目标设备部件或经预处理发现可能存在的缺陷隐患，以提高整体作业数据采集精度和数据实时处理效率。然而现有目标识别算法参数量巨大，需要的计算资源较多，目前主要通过终端服务器与gpu进行算法训练与推理，其占用内存较大。而在输电线路无人机巡检中，其巡检系统主要由无人机机载前端控制，内存空间有限。因此，为了将缺陷识别模型部署到无人机机载前，达到巡检缺陷实时检测状态，亟需一种输电线路无人机巡检机载前端缺陷实时识别方法。

技术实现思路

1、针对现有技术的不足，本发明提供一种输电线路无人机巡检机载前端缺陷实时识别方法及装置。

2、根据本发明的一个方面，提供了一种输电线路无人机巡检机载前端缺陷实时识别方法，包括：

3、采集目标输电线路的线路图像；

4、将线路图像输入至轻量化输电网缺陷目标检测模型，输出目标线路的缺陷识别结果；

5、其中，轻量化输电网缺陷目标检测模型部署在无人机的巡检机载前端系统；轻量化输电网缺陷目标检测模型是利用收集的输电线路的历史缺陷图像数据训练改进的级联网络缺陷识别模型，生成输电网缺陷目标检测模型，其中级联网络缺陷识别模型为基于快速区域卷积神经网络的多阶段目标检测算法，多阶段目标检测算法级联三个检测头；并

6、采用bn结构化模型剪枝方法计算输电网缺陷目标检测模型每个通道的缩放因子，并将缩放因子小于预设阈值的通道进行剪枝，确定剪枝后的剪枝输电网缺陷目标检测模型；以及

7、采用知识蒸馏模型压缩算法对剪枝输电网缺陷目标检测模型进行压缩后得到的。

8、可选地，输电网缺陷目标检测模型的损失函数为：

9、fl(pt)＝-at(1-pt)δlog(pt)

10、其中，

11、

12、式中，αt为第t个缺陷类别的权重系数，属于[0,1]；δ≥0为注意力参数；pt为第t个缺陷类别的概率；y为目标的标记类别，p为模型预测的目标属于y＝1标记类别的概率。

13、可选地，级联的三个检测头的每个检测头设置不同的iou阈值界定正负样本以训练模型，前一个检测头的输出是后一个检测头的输入，三个检测头的iou阈值由前至后一直上升。

14、可选地，bn结构化模型剪枝方法的计算公式为：

15、

16、式中，zin和zout是bn层的输入和输出，b表示当层的最小批，μb和σb表示b层的输入激活的平均值和标准偏差，ε为极小常量参数，γ为缩放因子；β为偏移，γ和β为训练参数。

17、可选地，bn结构化模型剪枝方法的损失函数为：

18、

19、式中，第二项为正则化项，其中γ是缩放因子γ的集合，λ是正则项权重系数；x为输入图像，y为输出标签，w为可训练权重。

20、可选地，知识蒸馏模型压缩算法的训练过程如下：

21、训练一个预定参数量的神经网络；

22、利用神经网络获取训练集的软标签；

23、将软标签和真实硬标签一起作为蒸馏训练的拟合对象，通过知识蒸馏模型压缩算法的损失函数中的权重参数调节教师网络损失函数和学生网络损失函数的比重，生成知识蒸馏模型压缩算法。

24、可选地，知识蒸馏模型压缩算法的损失函数为：

25、

26、式中，α为教师网络损失函数和学生网络损失函数的权重参数，调节教师网络损失函数和学生网络损失函数的损失值对反向传播梯度的权重；t为温度系数；dkl为kl散度损失函数；别为学生网络和教师网络经过改进softmax函数输出后的软化结果；lce为交叉熵损失函数；qs为学生网络经过softmax之后的输出结果；ytrue为真实标签值。

27、根据本发明的另一个方面，提供了一种输电线路无人机巡检机载前端缺陷实时识别装置，包括：

28、采集模块，用于采集目标输电线路的线路图像；

29、输出模块，用于将线路图像输入至轻量化输电网缺陷目标检测模型，输出目标线路的缺陷识别结果；

30、其中，轻量化输电网缺陷目标检测模型部署在无人机的巡检机载前端系统；轻量化输电网缺陷目标检测模型是利用收集的输电线路的历史缺陷图像数据训练改进的级联网络缺陷识别模型，生成输电网缺陷目标检测模型，其中级联网络缺陷识别模型为基于快速区域卷积神经网络的多阶段目标检测算法，多阶段目标检测算法级联三个检测头；并

31、采用bn结构化模型剪枝方法计算输电网缺陷目标检测模型每个通道的缩放因子，并将缩放因子小于预设阈值的通道进行剪枝，确定剪枝后的剪枝输电网缺陷目标检测模型；以及

32、采用知识蒸馏模型压缩算法对剪枝输电网缺陷目标检测模型进行压缩后得到的。

33、根据本发明的又一个方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行本发明上述任一方面所述的方法。

34、根据本发明的又一个方面，提供了一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现本发明上述任一方面所述的方法。

35、从而，本发明提出一种输电线路无人机巡检机载前端缺陷实时识别方法，通过改进cascade-rcnn模型实现了杆塔、绝缘子、金具、附属设施等5种典型缺陷的识别，并通过bn结构化剪枝和知识蒸馏方法对模型进行压缩，在机载前端对算法模型进行部署，实现了无人机巡检输电线路缺陷的实时识别，提升无人机巡检的效率与准确性，保障输电线路巡检安全。