基于轻量化模型下发的输电线路缺陷巡检方法和装置与流程

1.本技术涉及电力巡检技术领域，特别是涉及一种基于轻量化模型下发的输电线路缺陷巡检方法和装置。


背景技术：

2.输电是我国电力系统中至关重要的一环，众多的输电线路电力器件以及相关缺陷是输电巡检的主要内容。然而输电线路大多数关键设备都是部署在户外，具有分布广泛、地区偏远、地理环境恶劣等特点，这给巡检带来了困难。随着制造业与物联网的长足发展，无人机已被电网企业广泛应用于输电线路巡视检查。相较于人工巡检，无人机巡检大幅度降低了对人力的需求，巡检过程中存在及时有效地处理大量航拍数据的需求。
3.然而，目前的输电线路缺陷巡检方法，存在对输电线路目标器件的缺陷识别准确率低的问题。


技术实现要素：

4.基于此，有必要针对上述技术问题，提供一种能够提高输电线路目标器件的缺陷识别准确率的基于轻量化模型下发的输电线路缺陷巡检方法和装置。
5.第一方面，本技术提供了一种基于轻量化模型下发的输电线路缺陷巡检方法。所述方法包括：压缩目标器件检测模型，得到压缩后的目标器件检测模型并下发；目标器件检测模型为基于目标器件训练集对第一单阶段目标检测模型进行训练得到；目标器件训练集为采用最小外接矩形框对输电线路的历史无人机巡检图像中的目标器件进行标注得到；其中，压缩后的目标器件检测模型用于指示边缘设备识别当前无人机巡检图像，以得到目标器件的类型与位置；目标器件的类型与位置用于指示边缘设备指示无人机调整姿态以获取目标器件图像并上传；若接收到目标器件图像，采用缺陷检测模型处理目标器件图像，得到输电线路缺陷巡检结果；缺陷检测模型为基于目标器件训练集对第二单阶段目标检测模型进行训练得到。
6.在其中一个实施例中，目标器件检测模型和缺陷检测模型均为包括依次连接的主干网络、编码器和解码器的模型；主干网络包括残差神经网络和特征金字塔的第五卷积层输出的特征图，残差神经网络与特征图连接；编码器包括相连的投影层和残差块；投影层与特征图连接；解码器包括分类分支和回归分支；回归分支包括隐式预测对象，用于输出目标器件的位置；分类分支通过与隐式预测对象合并，以输出目标器件的类型。
7.在其中一个实施例中，目标器件检测模型包括若干个普通卷积层；缺陷检测模型包括若干个分组卷积层。
8.在其中一个实施例中，目标器件检测模型采用均衡匹配策略以调整用于训练的目标器件训练集的样本比例；缺陷检测模型采用交叉熵损失函数以调整用于训练的目标器件
训练集的样本比例。
9.在其中一个实施例中，压缩目标器件检测模型并下发的步骤包括：基于目标器件检测模型各层通道的平均通道显著性，对目标器件检测模型进行动态剪枝，获取压缩后的目标器件检测模型；采用http协议通过5g网络下发压缩后的目标器件检测模型。
10.在其中一个实施例中，目标器件包括玻璃绝缘子、防震锤和均压环；目标器件训练集包括voc格式的xml标注文件；方法还包括：若接收到目标器件图像，则基于目标器件图像优化缺陷检测模型。
11.第二方面，本技术还提供了一种基于轻量化模型下发的输电线路缺陷巡检装置。所述装置包括：压缩下发模块，用于压缩目标器件检测模型，得到压缩后的目标器件检测模型并下发；目标器件检测模型为基于目标器件训练集对第一单阶段目标检测模型进行训练得到；目标器件训练集为采用最小外接矩形框对输电线路的历史无人机巡检图像中的目标器件进行标注得到；其中，压缩后的目标器件检测模型用于指示边缘设备识别当前无人机巡检图像，以得到目标器件的类型与位置；目标器件的类型与位置用于指示边缘设备指示无人机调整姿态以获取目标器件图像并上传；结果输出模块，用于若接收到目标器件图像，采用缺陷检测模型处理目标器件图像，得到输电线路缺陷巡检结果；缺陷检测模型为基于目标器件训练集对第二单阶段目标检测模型进行训练得到。
12.第三方面，本技术还提供了一种云端设备。所述云端设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述的方法的步骤。
13.第四方面，本技术还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述的方法的步骤。
14.第五方面，本技术还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述的方法的步骤。
15.上述基于轻量化模型下发的输电线路缺陷巡检方法、装置、计算机设备、存储介质和计算机程序产品，通过压缩目标器件检测模型，得到压缩后的目标器件检测模型并下发；若接收到目标器件图像，采用缺陷检测模型处理目标器件图像，得到输电线路缺陷巡检结果，能够在输电线路巡检过程中实现对目标器件的缺陷检测，识别准确率高。
附图说明
16.图1为一个实施例中基于轻量化模型下发的输电线路缺陷巡检方法的流程示意图；图2为一个实施例中基于轻量化模型下发的输电线路缺陷巡检方法的应用环境图；图3为一个实施例中目标器件检测模型和缺陷检测模型的结构示意图；图4为一个实施例中输电线路缺陷巡检步骤的流程示意图；图5为一个实施例中基于轻量化模型下发的输电线路缺陷巡检装置的结构框图；图6为一个实施例中云端设备的内部结构图。
具体实施方式
17.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
18.围绕无人机巡图像数据开展自动化分析，并利用机器视觉分析方法提升目标器件和缺陷识别效果已成为电网运维检修的研究与应用热点之一。随着边缘计算、5g通信、云边协同等信息通信技术的高速发展，电网无人机巡检图像识别协同优化激活了新的发展动力。机巡图像自动化分析方法以计算载体划分主要包括云侧和边端侧（边缘侧或终端侧）两类，基于云侧的图像识别方法依托gpu（graphics processing unit，图形处理器）服务器集群的强大算力，能够对目标器件缺陷有较好地识别效果，但是识别效果依赖于无人机采集的图像质量，如果无人机拍摄时没有聚焦电网（例如，输电线路）目标器件而拍摄过多的背景，会导致云侧无法识别到目标器件的缺陷。基于边端侧的图像识别方法的主要优势在于实时性较好，能够短时间识别到目标器件有无缺陷，但是受限于计算资源识别效果较差，往往会漏识别很多缺陷。
19.在一个实施例中，如图1所示，提供了一种基于轻量化模型下发的输电线路缺陷巡检方法，以该方法应用于图2中的云侧（例如，服务器，可以用独立的服务器或者是多个服务器组成的服务器集群来实现）为例进行说明，可以理解的是，该方法也以应用于包括云侧、边端侧（包括边缘侧和终端侧）的系统，并通过云侧和边端侧的交互实现。边端侧可以包括边缘设备和无人机，边缘设备可以搭载在无人机上，也可以和无人机分别作为两个独立的设备。所述方法包括以下步骤：步骤110，压缩目标器件检测模型，得到压缩后的目标器件检测模型并下发；目标器件检测模型为基于目标器件训练集对第一单阶段目标检测模型进行训练得到；目标器件训练集为采用最小外接矩形框对输电线路的历史无人机巡检图像中的目标器件进行标注得到；其中，压缩后的目标器件检测模型用于指示边缘设备识别当前无人机巡检图像，以得到目标器件的类型与位置；目标器件的类型与位置用于指示边缘设备指示无人机调整姿态以获取目标器件图像并上传；具体而言，云侧可以对存量的输电线路的历史无人机巡检图像中的目标器件进行标注，得到目标器件训练集；基于目标器件训练集对第一单阶段目标检测模型（单阶段目标检测模型是指只需一次提取特征即可实现目标检测的模型）进行训练，得到目标器件检测模型；压缩目标器件检测模型，得到压缩后的目标器件检测模型并下发；通过压缩目标器件检测模型并下发压缩后的目标器件检测模型，能够实现轻量化模型的下发，以满足接收端对模型尺寸小、计算复杂度低、电池耗电量低、下发更新部署灵活的要求。
20.进一步的，边缘设备指部署在边端侧的可用于进行边缘计算的设备，边缘设备可以通过5g（5th generation mobile communication technology，第五代移动通信技术）网络以http协议（hyper text transfer protocol，超文本传输协议）接收云端发送的压缩后的目标器件检测模型；边缘设备还可以基于压缩后的目标器件检测模型识别当前无人机巡检图像，得到目标器件的类型与位置；边缘设备还可以基于目标器件的类型与位置指示无人机调整姿态，以获取目标器件图像并通过5g网络上传。
21.在一些示例中，边缘设备通过5g网络以http协议接收云端发送的压缩后的目标器
件检测模型软件包到系统中的指定位置，更新边缘设备中的目标器件检测模型；边缘设备启动目标器件检测模块，通过局域网接收无人机的摄像头采集的视频并识别视频中的目标器件，将目标器件的信息（包括图片中目标器件名称和位置）发送给无人机，无人机根据目标器件的位置调整姿态并使用摄像头聚焦重新拍摄目标器件；边缘设备将重新拍摄的目标器件图像通过5g网络以http协议发送给云侧进行缺陷识别。
22.步骤120，若接收到目标器件图像，采用缺陷检测模型处理目标器件图像，得到输电线路缺陷巡检结果；缺陷检测模型为基于目标器件训练集对第二单阶段目标检测模型进行训练得到。
23.具体而言，基于目标器件训练集对第二单阶段目标检测模型进行训练，得到缺陷检测模型；若接收到边端侧发送的目标器件图像，采用缺陷检测模型处理目标器件图像，得到输电线路缺陷巡检结果。
24.在一些示例中，若接收到边端侧发送的目标器件图像，还可以基于目标器件图像迭代优化目标器件检测模型和缺陷检测模型，分别用于下一次的目标器件检测和缺陷检测。
25.上述基于轻量化模型下发的输电线路缺陷巡检方法中，通过压缩目标器件检测模型，得到压缩后的目标器件检测模型并下发；若接收到目标器件图像，采用缺陷检测模型处理目标器件图像，得到输电线路缺陷巡检结果，能够在输电线路巡检过程中实现对目标器件的缺陷检测，识别准确率高。
26.在其中一个实施例中，如图3所示，目标器件检测模型和缺陷检测模型均为包括依次连接的主干网络、编码器和解码器的模型；主干网络包括残差神经网络和特征金字塔的第五卷积层输出的特征图，残差神经网络与特征图连接；编码器包括相连的投影层和残差块；投影层与特征图连接；解码器包括分类分支和回归分支；回归分支包括隐式预测对象，用于输出目标器件的位置；分类分支通过与隐式预测对象合并，以输出目标器件的类型。
27.具体而言，主干网络的残差神经网络（resnet）可以采用resnet50；特征金字塔（feature pyramid networks，fpn）可以提取特征并输出不同尺度的特征图，抽取特征金字塔的第五卷积层输出的特征图（即c5/dc5 feature map）；编码器可以包括拓展编码器；拓展编码器包括依次连接的一个投影层（projector）和四个卷积核膨胀率不同的残差块（residual blocks）；解码器包括两个并行的head分支，即分类分支和回归分支，分类分支和回归分支的卷积层数目不同；回归分支的隐式预测对象的值用于与分类分支的输出相乘，得到目标器件的类型。
28.在一些示例中，resnet50接入特征金字塔的c5特征图，通道数为2048且下采样率为32；投影层首先采用一个1
×
1的卷积层来降低通道维数，然后采用一个3
×
3卷积层来细化上下文语义信息；投影层的输出接入四个连续叠加的卷积核膨胀率不同的残差块，生成具有多个感受野的输出特征，覆盖所有对象的尺度；回归分支包括四个卷积层加上bn层（batch normalization，批归一化层）和relu（rectified linear unit，线性整流函数）层；分类分支包括两个卷积层，为回归分支的每个anchor（锚框）增加一个隐式预测对象（objectness）；若一个bbox（bounding box，边界框）与ground truth（参考标准或标注数据）的iou（intersection over union，重叠度）比其他bboxes的都要大，则它的objectness score（为用于预测前景背景的二分类值）为1，即为best box（最优框）；假如一个bbox不是
best box，但是它与ground truth的iou大于阈值（例如，0.5），则它的objectness score为0；最终的分类置信度由分类分支的输出和隐式预测对象的值（objectness score）相乘得到。
29.在其中一个实施例中，目标器件检测模型包括若干个普通卷积层；缺陷检测模型包括若干个分组卷积层。
30.具体而言，目标器件检测模型采用普通卷积方式；缺陷检测模型采用分组卷积（group convolution）方式，进一步降低计算量。
31.在其中一个实施例中，目标器件检测模型采用均衡匹配策略以调整用于训练的目标器件训练集的样本比例；缺陷检测模型采用交叉熵损失函数以调整用于训练的目标器件训练集的样本比例。
32.具体而言，目标器件检测模型为解决正负样本不均衡问题，引入一个均衡匹配（uniform matching）策略，即对每个groud truth框而言，只采用最接近的k个anchor作为正样本；缺陷检测模型采用交叉熵（cross entropy）损失函数实现输入分类器样本的正负比例调整，同时实现将样本中难分与易分样本进行合理的区分。
33.在其中一个实施例中，压缩目标器件检测模型并下发的步骤包括：基于目标器件检测模型各层通道的平均通道显著性，对目标器件检测模型进行动态剪枝，获取压缩后的目标器件检测模型；采用http协议通过5g网络下发压缩后的目标器件检测模型。
34.具体而言，对目标器件检测模型的权重进行动态剪枝，将目标器件检测模型中不同的层设置不同阈值，即将各层通道的平均通道显著性设置为对应的层的阈值，推理时，只有大于阈值的通道才会被计算，其余的会被跳过，从而减少计算量，将剪枝后的目标器件检测模型通过5g网络以http协议下发至边缘设备。
35.在一些示例中，以目标器件检测模型的第l层为例，取n个样本，计算第l层的m个通道的平均通道显著性，通道显著性为n个样本推理时该通道的值，取平均通道显著性作为阈值。
36.在其中一个实施例中，目标器件包括玻璃绝缘子、防震锤和均压环；目标器件训练集包括voc格式的xml标注文件；方法还包括：若接收到目标器件图像，则基于目标器件图像优化缺陷检测模型。
37.具体而言，对图像中的目标器件（如玻璃绝缘子、防震锤、均压环等）使用最小外接矩形框进行标注，标注文件为voc格式的xml文件；若接收到目标器件图像，则基于目标器件图像训练优化当前的缺陷检测模型，以提高下一次的缺陷检测的准确率。
38.在一些示例中，若接收到目标器件图像，还可以基于目标器件图像训练优化目标器件检测模型并重新下发，以提高边缘设备下一次的目标器件检测的准确率。
39.在一些示例中，如图4所示，云侧训练目标器件检测模型，并压缩得到压缩后的目标器件检测模型，将模型软件包下发；边端侧接收并更新目标器件检测模型软件包，以对无人机上传的视频识别目标器件，并将识别结果发送至无人机；无人机根据识别结果调整姿态重新拍摄，并回传视频；无人机将重新拍摄的目标器件图像发送至云侧；云侧基于目标器件图像，采用缺陷检测模型识别电网缺陷，并进一步迭代优化缺陷检测模型。
40.应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有
明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
41.基于同样的发明构思，本技术实施例还提供了一种用于实现上述所涉及的基于轻量化模型下发的输电线路缺陷巡检方法的基于轻量化模型下发的输电线路缺陷巡检装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个基于轻量化模型下发的输电线路缺陷巡检装置实施例中的具体限定可以参见上文中对于基于轻量化模型下发的输电线路缺陷巡检方法的限定，在此不再赘述。
42.在一个实施例中，如图5所示，本技术还提供了一种基于轻量化模型下发的输电线路缺陷巡检装置。所述装置包括：压缩下发模块510，用于压缩目标器件检测模型，得到压缩后的目标器件检测模型并下发；目标器件检测模型为基于目标器件训练集对第一单阶段目标检测模型进行训练得到；目标器件训练集为采用最小外接矩形框对输电线路的历史无人机巡检图像中的目标器件进行标注得到；其中，压缩后的目标器件检测模型用于指示边缘设备识别当前无人机巡检图像，以得到目标器件的类型与位置；目标器件的类型与位置用于指示边缘设备指示无人机调整姿态以获取目标器件图像并上传；结果输出模块520，用于若接收到目标器件图像，采用缺陷检测模型处理目标器件图像，得到输电线路缺陷巡检结果；缺陷检测模型为基于目标器件训练集对第二单阶段目标检测模型进行训练得到。
43.在其中一个实施例中，压缩下发模块510还用于基于目标器件检测模型各层通道的平均通道显著性，对目标器件检测模型进行动态剪枝，获取压缩后的目标器件检测模型；采用http协议通过5g网络下发压缩后的目标器件检测模型。
44.在其中一个实施例中，结果输出模块520还用于若接收到目标器件图像，则基于目标器件图像优化缺陷检测模型。
45.上述基于轻量化模型下发的输电线路缺陷巡检装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
46.在一个实施例中，本技术还提供了一种云端设备。所述云端设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述的方法的步骤。
47.在一个实施例中，提供了一种云端设备，该云端设备可以是服务器，其内部结构图可以如图6所示。该云端设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该云端设备的处理器用于提供计算和控制能力。该云端设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该云端设备的数据库用于存储输电线路缺陷巡检数据。该云端设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于轻量化模型下发的输电线路缺陷巡检方法。
48.本领域技术人员可以理解，图6中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的云端设备的限定，具体的云端设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
49.在一个实施例中，本技术还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述的方法的步骤。
50.在一个实施例中，本技术还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述的方法的步骤。
51.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（read-only memory，rom）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（reram）、磁变存储器（magnetoresistive random access memory，mram）、铁电存储器（ferroelectric random access memory，fram）、相变存储器（phase change memory，pcm）、石墨烯存储器等。易失性存储器可包括随机存取存储器（random access memory，ram）或外部高速缓冲存储器等。作为说明而非局限，ram可以是多种形式，比如静态随机存取存储器（static random access memory，sram）或动态随机存取存储器（dynamic random access memory，dram）等。本技术所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本技术所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
52.以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
53.以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本技术专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术的保护范围应以所附权利要求为准。