一种面向绝缘子图像检测任务的精度和能耗协同优化方法与流程

本发明涉及电力线路巡检，具体涉及一种面向绝缘子图像检测任务的精度和能耗协同优化方法。

背景技术：

1、电力系统的正常运行是国家经济发展的重要保障，其中输电线路的稳定运行尤为关键。随着我国电力系统不断发展、社会用电量急剧增加，输电线路的架设规模也在不断增长。输电线路设备由于长期暴露在野外环境，加速了设备损耗，容易引发电力故障。例如长期处在潮湿状态下的绝缘子可能发生自爆现象，从而造成线路停电，产生经济损失。因此，输电线路设备的巡检和维护工作极为重要。然而，传统的人工巡检效率低下，更不利于在野外环境开展，无法满足大规模部署的输电线路的巡检需求。为提高巡检效率，可以通过远程遥控搭载有高清摄像头的无人机来获取绝缘子航拍图像，同时深度学习技术的应用使得航拍图像中绝缘子自动识别与缺陷检测的准确度得到了显著提升。

2、通常，利用深度学习进行图像处理需要较多的计算资源和能量。然而，电力巡检中无人机的计算资源和电池容量有限，无法部署高精度的深度神经网络检测模型。现有技术通常将高精度模型部署在云服务器上，在无人机拍摄到绝缘子航拍图像后，将图像上传至云服务器执行远程检测任务。该方法虽可以有效缓解无人机计算资源和能量受限的困境，但是受到网络带宽限制，任务卸载过程中也会带来一定的传输时延和能耗开销，无法实现实施检测。还有一些技术研究了降低能耗和时延的任务卸载方式，但是建模较为抽象，没有对检测精确度与图像分辨率关系进行充分的探索，不适用于所研究的绝缘子航拍图像检测任务的精度和能耗协同优化问题。

技术实现思路

1、本发明的目的在于提供一种面向绝缘子图像检测任务的精度和能耗协同优化方法，该方法可以在满足时延约束的同时，使得绝缘子图像检测任务的精度和能耗达到联合最优。

2、为了实现上述目的，本发明采用的技术方案是：一种面向绝缘子图像检测任务的精度和能耗协同优化方法，包括以下步骤：

3、a)将训练好的面向绝缘子航拍图像检测任务的轻量级深度神经网络模型和高精度深度神经网络模型分别部署在无人机端和边缘服务器端上，构建以无人机-边缘服务器为主体的端边协同检测框架；

4、b)将时间划分为时隙，按时隙对无人机上实时生成的绝缘子图像检测任务进行建模，对绝缘子图像检测任务的无人机端处理、边缘服务器端处理的能耗、时延、精度因素进行建模；

5、c)对绝缘子图像检测任务的端到端时延约束进行建模，将面向绝缘子图像检测任务的精度和能耗协同优化问题形式化成最优化问题的数学模型；

6、d)构建基于粒子群优化的图像检测任务卸载算法，获得最优任务卸载策略及卸载任务的图像处理分辨率配置。

7、进一步地，所述步骤a具体包括以下步骤：

8、a1)数据预处理，收集绝缘子航拍图像，并进行标注，构建训练数据集；

9、a2)通过步骤a1构建的训练数据集分别对轻量级深度神经网络mobilenet和高精度深度神经网络yolo-v5分别进行训练，得到训练好的轻量级深度神经网络模型和高精度深度神经网络模型；

10、a3)将步骤a2训练好的轻量级深度神经网络模型部署在无人机端，将步骤a2训练好的高精度深度神经网络模型部署在边缘服务器端，边缘服务器端部署的高精度深度神经网络模型有n种输入图像分辨率配置模式，同时实现无人机和边缘服务器的数据传输。

11、进一步地，所述步骤b具体包括以下步骤：

12、b1)将时间划分为时隙，每个时隙t内无人机上产生f帧图像，每帧图像记为pf，f∈1,f]，对每帧图像pf进行建模，获得图像pf的数据量df、卸载决策

13、b2)对图像检测任务卸载至边缘服务器处理的检测精度能耗进行建模，对图像检测任务在无人机上处理的检测精度能耗进行建模。

14、进一步地，选择ri，i＝0,1,…,n的图像分辨率模式计算，则第f帧图像的数据量df为：

15、df＝σ·ri2   (1)

16、其中，σ为常数，表示1个像素所携带的数据bit量；

17、卸载决策为：表示第f帧图像的检测任务选择第i种处理模式，i＝0,1,…,n，i＝0表示在无人机端处理，i＝1,2…,n表示在边缘服务器上选择第i种模式处理；

18、对于在无人机上执行的任务，只有一种输入图像分辨率设置，检测精度和能耗设为常数，即

19、对于卸载至边缘服务器上执行的任务，检测精度建模为输入图像分辨率的函数，即

20、

21、其中，α和β为常数；当任务卸载至边缘服务器上执行时，产生的能耗包括无人机端传输数据能耗和边缘服务器执行能耗，忽略边缘服务器上产生的能耗，则卸载总能耗为：

22、

23、其中，ψ为传输1bit数据所消耗的能量。

24、进一步地，所述步骤c具体包括以下步骤：

25、c1)对第f帧绝缘子图像的检测任务在无人机上执行产生的延迟卸载至边缘服务器执行产生的延迟分别进行建模；

26、c2)对时隙t内f帧绝缘子图像检测任务的端到端平均时延、平均精确度、平均能耗进行建模；

27、c3)将面向绝缘子图像检测任务的精度和能耗协同优化问题形式化表示成最优化问题的数学模型。

28、进一步地，对于在无人机上执行的任务，输入图像分辨率确定，因此执行时延设为常数，即

29、对于卸载至边缘服务器上执行的任务，时延包括两部分：传输时延和边缘服务器上的执行时延；传输时延由传输数据量和网络带宽决定：其中，b为当前时隙t内的网络带宽；边缘服务器执行时延由输入图像分辨率决定，具体为：

30、

31、其中，η和θ为常数，则任务卸载计算的总时延为

32、第f帧图像检测任务的端到端时延lf为：

33、

34、f帧绝缘子图像检测的平均时延为：

35、

36、第f帧图像检测任务的端到端能耗ef为：

37、

38、f帧绝缘子图像检测的平均能耗为：

39、

40、第f帧图像检测任务的精度af为：

41、

42、f帧绝缘子图像检测的平均精度为：

43、

44、将问题定义为在f帧绝缘子图像检测端到端平均时延的约束下，协同优化平均能耗和精度，即

45、min a+δe  (11)

46、其中，δ为常数，表示检测精度和能耗的权衡；

47、约束为：

48、

49、

50、

51、进一步地，所述步骤d具体包括以下步骤：

52、d1)基于粒子群优化的图像检测任务卸载算法输入：将时隙t内产生的f帧图像中每帧图像f的数据量df、网络带宽b参数作为算法输入，设定算法最大迭代次数tmax；

53、d2)算法初始化：设定f帧图像的卸载策略为一个粒子的位置，设定图像检测精度和能耗的联合作为目标函数，设置最优解的边界以及初始化例子的速度和位置，随机多组数据作为粒子群的初始值；

54、d3)根据输入以并行的方式计算粒子群中粒子的适应度，即每种卸载决策对应的精度值和能耗值，得到局部最优解和全局最优解；

55、d4)进行迭代，根据局部最优解、全局最优解、粒子速度，更新粒子的位置；

56、d5)判断是否达到迭代次数，若是，则停止迭代，输出最优粒子的位置，即最优的卸载决策方案，以及最优解对应的图像检测精度和能耗联合值；若否，则继续进行迭代。

57、进一步地，步骤d2中，设置j组粒子构成粒子群，设置最优解的边界，初始化例子的速度vj和位置wj，j∈[1,j]；

58、设定f帧图像的卸载策略为一个粒子的位置wj，设定图像检测精度和能耗的联合a+δe目标函数作为粒子的适应度；

59、步骤d3中，根据输入以并行的方式计算粒子群中粒子的适应度，即每种卸载决策对应的精度值和能耗值，然后选取粒子j自身的局部最优解qj和所有粒子的全局最优解qg；

60、步骤d4中，根据局部最优解、全局最优解、粒子速度，更新粒子的位置、速度，其计算公式为：

61、

62、

63、其中，ω1是常数，ω2和ω3是两个在[0,2]之间的随机数，用于增加位置的随机性。

64、与现有技术相比，本发明具有以下有益效果：

65、1)本发明针对绝缘子航拍图像检测，构建了无人机-边缘服务器协同的检测框架，在无人机和边缘服务器上部署不同的模型，解决了无人机单独检测的精度低、边缘服务器单独检测的时延高等问题；

66、2)本发明针对绝缘子航拍图像检测中的无人机能耗、任务时延、检测精度等进行建模，构建了基于粒子群优化的绝缘子航拍图像检测任务的卸载算法，在任务时延约束下，对无人机能耗和检测精度进行协同优化，能够根据实际需求对精度和能耗进行权衡，达到更低的能耗、更高的精度；

67、3)本发明提出了一种端-边协同的视频处理范式，可以部署到无人机、摄像头等资源受限的终端设备，在边缘服务器的协同下，实现实时动态的视频任务处理。