基于边缘计算与无人机巡检协同的智能巡检方法与流程

1.本发明涉及无人机巡检及异常检测技术领域，具体的，涉及基于边缘计算与无人机巡检协同的智能巡检方法。


背景技术：

2.各种电力与输电设备由于分布广泛且面对的自然环境复杂多样，在长期运行过程中容易遭到人为破坏和自然灾害，这些情况将给电力设备的安全稳定运行带来巨大的潜在风险，因此需要对电网系统中的容易发生故障的设备进行巡检，以便及时地处理安全隐患或者解决存在的问题。目前电力系统较传统的方式是采用人工巡检模式，但这种方式运维人员工作量大、工作难度大、人员严重不足且需要工作人员具有一定的电力领域基础知识，针对这一情况，部分电网公司已经开始试点无人机巡检系统，但系统自治运行能力低需要工作人员手动操控等问题仍然存在。
3.同时，由于各种电力与输电设备分布环境较为复杂，难以收集足够数量的高质量样本用于训练模型；无人机面对的环境复杂，若路径规划不当容易发生碰撞与坠机事件，造成经济损失并且边缘端算力不足，若搭载的检测模型较大，则不能很好的执行检测任务。这些都限制了无人机巡检的发展。
4.目前，基于边缘计算的无人机巡检主要存在的几个挑战在于：1、难以取得足够的高质量样本用于训练模型；2、cnn网络模型较大，参数较多，若不进行改进，难以应用到算力不足的边缘端；3、面对复杂环境，在多机协同巡检的条件下，检测任务分配与无人机航线规划较为困难。


技术实现要素：

5.本发明的目的是提出基于边缘计算与无人机巡检协同的智能巡检方法，该方法可以通过无人机之间的协同对电力多站融合系统中的电力设备进行巡检，通过边缘端的缺陷识别模块对采集的图片进行初步识别，并对异常图片进行多角度采集，将异常检测结果发送给机场服务器进行进一步识别，显著提高的图片的识别效率，且通过异常图片进一步扩充训练样本库，对缺陷检测模型进行定时更新，进一步提高缺陷检测模型的识别精度。
6.为实现上述技术目的，本发明提供的一种技术方案是，基于边缘计算与无人机巡检协同的智能巡检方法，包括如下步骤：步骤s1、多无人机巡检的任务分配与路线规划：以无人机完成所有巡检目标所需时间最短为目标，确定任务分配，规划最优巡检路线；步骤s2、图片异常自动识别：在边缘端通过缺陷检测模型对无人机拍摄到的图片进行图片规范检测以及缺陷识别；
若存在图片异常，请求已经完成检测任务的无人机进行多方位联合巡检，并将拍摄图片发回机场服务器；若图片无异常，则当前无人机执行下一个巡检任务；步骤s3、更新缺陷检测模型：在服务器端对巡检图片进行全景拼接，通过缺陷检测模型对于拼接后的图片进行规范检测以及缺陷识别，若存在图片异常，则将汇总的异常结果存入训练样本库，对缺陷模型进行增强学习以更新缺陷检测模型，若不存在异常，对拼接后的图片进行存储。
7.作为优选，在步骤s1之前，还包括对缺陷检测模型进行训练：构建训练样本库：基于singan利用缺陷图片样本，自动学习缺陷样本图片的纹理以及边缘特征，生成多张高质量的缺陷样本图片，扩充样本训练集；缺陷检测模型训练：对cnn网络模型进行改进，添加bn层，引入γ因子的正则化项，对cnn网络进行剪枝以缩小检测模型。
8.作为优选，构建训练样本库包括如下步骤：样本预处理：对预先收集的缺陷图像进行降噪和图像增强操作；singan模型构建：模型包括金字塔结构的全卷积gan，在每个尺度上都具有生成器gn和与之对应的马尔科夫判别器dn来判断真假；每个gan负责捕获不同尺度的图像分布，以此来生成具有相同视觉内容的高质量样本；模型训练：按照每一层gan网络搭建的顺序，从最底层到最顶端的顺序进行训练，每一层gan网络训练好后则会被固定；获得扩充图像：将单个缺陷样本图片输入训练好的singan模型，金字塔最顶端生成器gn生成的图像即为扩充图像。
9.作为优选，缺陷检测模型训练包括如下步骤：构建卷积层与池化层：卷积层与池化层相配合，组成多个卷积组逐层提取图片特征；添加bn层：在每一个池化层后面都添加一个bn层，做归一化处理，同时，引入γ因子，方便后续对模型进行剪枝；根据各神经元贡献度大小进行评估：根据γ因子进行特征图像的重要性评估，对贡献较小的神经元进行剪枝；引入γ因子正则化项在图像训练中进行自动剪枝；对剪纸后的网络进行微调：剪掉不重要的网络通道对精度进行补偿。
10.作为优选，步骤s1中，多无人机任务分配包括如下步骤：确定优化目标：所述优化目标为完成所有检测任务所需要的总飞行距离最短；机场服务器存储有初始时各无人机到每个检测目标以各及检测目标之间的距离；定义无人机组到检测目标组之间的最短距离为所有无人机到所有检测目标之间的距离最小值，将此目标的检测任务分配给该最小距离对应的无人机x，并将此目标从检测目标组删除；更新各无人机到剩余检测目标的距离；其中：算法结束条件为检测目标组为空，算法结束后，将巡检任务按照算法执行的结果分配给各无人机。
11.作为优选，步骤s1中，无人机规划最优巡检路线包括如下步骤：确定全局最优参考路径：
根据已知的环境信息、任务要求在无人机起飞前为其规划出一条满足约束条件的全局最优参考航迹；所述约束条件包括：环境约束、任务约束和无人机自身性能约束；局部航迹动态优化：无人机在按照全局最优参考路径航迹飞行的过程中，需保证各架无人机之间、无人机与障碍物间在任意时刻保持安全飞行距离，通过几何确定型的方法来检测各无人机航迹间存在的冲突，如果存在冲突，立即做出告警并调整。
12.作为优选，边缘端对图片进行异常识别包括以下步骤：边缘端图片规范检测：无人机边缘计算检测图像光线强弱和物体模糊程度，及时反馈到机场服务器，实时调整无人机拍摄角度，并丢弃不良照片；边缘端缺陷识别：无人机利用剪枝后的cnn网络模型对输入的目标图像进行缺陷检测，通过卷积层与池化层提取图像特征，bn层进行批量归一化处理，最后通过全连接层输出识别结果。
13.作为优选，步骤s3包括如下步骤：服务器端进行全景拼接，将拼接后的图片输入训练好的cnn网络模型进行异常识别；若最终确认为缺陷样本图片，则通过singan网络生成多张高质量的缺陷样本图片；将原本的缺陷样本图片与生成的缺陷样本图片存入训练样本库，并完成缺陷检测模型的增强学习，每隔一段时间更新边缘端与服务器端的缺陷检测模型。
14.本发明的有益效果：本发明提出基于边缘计算与无人机巡检协同的智能巡检方法，该方法可以通过无人机之间的协同对电力多站融合系统中的电力设备进行巡检，通过边缘端的缺陷识别模块对采集的图片进行初步识别，并对异常图片进行多角度采集，将异常检测结果发送给机场服务器进行进一步识别，显著提高的图片的识别效率，且通过异常图片进一步扩充训练样本库，对缺陷检测模型进行定时更新，进一步提高缺陷检测模型的识别精度。
附图说明
15.图1为本发明的基于边缘计算与无人机巡检协同的智能巡检方法的流程图。
16.图2为本发明边缘端的cnn网络模型的改进流程图。
17.图3为本发明无人机任务分配与路径规划方法的流程图。
具体实施方式
18.为使本发明的目的、技术方案以及优点更加清楚明白，下面结合附图和实施例对本发明作进一步详细说明，应当理解的是，此处所描述的具体实施方式仅是本发明的一种最佳实施例，仅用以解释本发明，并不限定本发明的保护范围，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
19.实施例：整个方案包括一下几个部分：边缘端缺陷识别、服务器端缺陷识别、多无人机巡检的任务分配与路线规划以及边缘端的cnn网络模型的更新；其中，边缘端包括有边缘端缺陷识别模块，所述边缘端缺陷识别模块中存储有缺陷识别模型相关算法和程序。服
务器端包括有机场服务器，所述机场服务器包括有机场端缺陷识别模块，所述机场端缺陷识别模块中存储有缺陷识别模型相关算法和程序。
20.如图1所示，基于边缘计算与无人机巡检协同的智能巡检方法，包括如下步骤：执行无人机巡检之前，对缺陷检测模型进行训练：构建训练样本库：基于singan利用缺陷图片样本，自动学习缺陷样本图片的纹理以及边缘特征，生成多张高质量的缺陷样本图片，扩充样本训练集；缺陷检测模型训练：对cnn网络模型进行改进，添加bn层，引入γ因子的正则化项，对cnn网络进行剪枝以缩小检测模型。
21.构建训练样本库包括如下步骤：样本预处理：对预先收集的缺陷图像进行降噪和图像增强操作；singan模型构建：模型包括金字塔结构的全卷积gan，在每个尺度上都具有生成器gn和与之对应的马尔科夫判别器dn来判断真假；每个gan负责捕获不同尺度的图像分布，以此来生成具有相同视觉内容的高质量样本；模型训练：按照每一层gan网络搭建的顺序，从最底层到最顶端的顺序进行训练，每一层gan网络训练好后则会被固定；获得扩充图像：将单个缺陷样本图片输入训练好的singan模型，金字塔最顶端生成器gn生成的图像即为扩充图像。
22.缺陷检测模型训练包括如下步骤：构建卷积层与池化层：卷积层与池化层相配合，组成多个卷积组逐层提取图片特征；添加bn层：在每一个池化层后面都添加一个bn层，做归一化处理，同时，引入γ因子，方便后续对模型进行剪枝；根据各神经元贡献度大小进行评估：根据γ因子进行特征图像的重要性评估，对贡献较小的神经元进行剪枝；引入γ因子正则化项在图像训练中进行自动剪枝；对剪纸后的网络进行微调：剪掉不重要的网络通道对精度进行补偿。
23.如图2所示，基于cnn网络模型进行改进，添加bn层，引入γ因子的正则化项，对cnn网络进行剪枝，缩小检测模型，加快计算速度，改进后的cnn网络模型可用于算力不足的边缘端，具体改进包括：卷积层与池化层：卷积层与池化层相配合，组成多个卷积组逐层提取特征；添加bn层：在每一个池化层后面都添加一个bn层，做归一化处理，防止梯度消失或爆炸，加快训练速度；同时，引入γ因子，方便后续对模型进行剪枝；对神经元贡献度大小进行评估：通过bn层γ参数的含义可知feature map的每个channel对应一个γ值，所以这个γ值相当于该channel的重要性，根据γ参数进行feature map的重要性评估，对贡献较小的神经元进行剪枝；引入γ因子正则化项：为约束γ的大小，增加一个关于γ的l1正则项，这样可以做到在训练中自动剪枝；对剪纸后的网络进行微调：剪掉不重要的网络通道会暂时降低性能，通过对剪枝网络的性能微调对精度进行补偿。
24.多无人机巡检的任务分配与路线规划：
以无人机完成所有巡检目标所需时间最短为目标，确定任务分配，规划最优巡检路线。
25.多无人机任务分配包括如下步骤：确定优化目标：所述优化目标为完成所有检测任务所需要的总飞行距离最短；机场服务器存储有初始时各无人机到每个检测目标以各及检测目标之间的距离；定义无人机组到检测目标组之间的最短距离为所有无人机到所有检测目标之间的距离最小值，将此目标的检测任务分配给该最小距离对应的无人机x，并将此目标从检测目标组删除；更新各无人机到剩余检测目标的距离；其中：算法结束条件为检测目标组为空，算法结束后，将巡检任务按照算法执行的结果分配给各无人机。
26.无人机规划最优巡检路线包括如下步骤：规划全局最优参考路径：首先根据已知的环境信息、任务要求等在无人机起飞前为其规划出一条满足约束条件的全局最优参考航迹，规划空间的表示方法为栅格法，考虑的约束条件包括：环境约束、任务约束和无人机自身性能约束；局部航迹动态优化：有多个无人机协同工作，共同执行巡检任务，无人机在按照全局最优参考路径航迹飞行的过程中，需保证各架无人机间、无人机与障碍物间在任意时刻保持安全飞行距离，通过几何确定型的方法来检测各无人机航迹间存在的冲突。
27.如图3所示，多无人机巡检的任务分配与路线规划，以无人机完成所有巡检目标所需时间最短为目标，确定任务分配，规划最优巡检路线，尽量避免无人机发生碰撞与坠机事件：具体包括以下步骤：机场服务器存储了初始时各无人机到每个检测目标的距离以及各检测目标之间的距离；将无人机节点放入图a中，检测目标结点放入图b中；定义图a与图b之间的距离为图a中的所有结点到图b中的所有结点距离的最小值；从图a与图b中分别删去此次循环选中的无人机结点与检测目标结点，若无人机抵达检测目标，则将该无人机结点重新加入图a中；只要图a不为空就执行此算法，算法结束条件为图b为空；算法结束后，将巡检任务分配给各无人机。
28.图片异常自动识别：在边缘端通过缺陷检测模型对无人机拍摄到的图片进行图片规范检测以及缺陷识别；若存在图片异常，请求已经完成检测任务的无人机进行多方位联合巡检，并将拍摄图片发回机场服务器；若图片无异常，则当前无人机执行下一个巡检任务；边缘端对图片进行异常识别包括以下步骤：边缘端图片规范检测：无人机边缘计算检测图像光线强弱和物体模糊程度，及时反馈到机场服务器，实时调整无人机拍摄角度，并丢弃不良照片；
边缘端缺陷识别：无人机利用剪枝后的cnn网络模型对输入的目标图像进行缺陷检测，通过卷积层与池化层提取图像特征，bn层进行批量归一化处理，最后通过全连接层输出识别结果。
29.更新缺陷检测模型：在服务器端对巡检图片进行全景拼接，通过缺陷检测模型对于拼接后的图片进行规范检测以及缺陷识别，若存在图片异常，则将汇总的异常结果存入训练样本库，对缺陷模型进行增强学习以更新缺陷检测模型，若不存在异常，对拼接后的图片进行存储。
30.具体的，服务器端进行全景拼接，将拼接后的图片输入训练好的cnn网络模型进行异常识别；若最终确认为缺陷样本图片，则通过singan网络生成多张高质量的缺陷样本图片；将原本的缺陷样本图片与生成的缺陷样本图片存入训练样本库，并完成缺陷检测模型的增强学习，每隔一段时间更新边缘端与服务器端的缺陷检测模型，以提升模型识别准确率。
31.以上所述之具体实施方式为本发明基于边缘计算与无人机巡检协同的智能巡检方法的较佳实施方式，并非以此限定本发明的具体实施范围，本发明的范围包括并不限于本具体实施方式，凡依照本发明之形状、结构所作的等效变化均在本发明的保护范围内。