一种图神经网络辅助强化学习的边缘计算卸载方法及系统

本发明属于无线通信，具体涉及一种基于图神经网络和强化学习的移动边缘多任务卸载协作计算方法及系统。

背景技术：

1、随着物联网和通信技术的发展，移动边缘计算成为了移动设备处理复杂计算任务的有效解决方案。移动设备可以将难以计算的任务通过无线信道卸载到附近的边缘节点进行计算，从而实现低时延、低能耗的计算。

2、在未来移动边缘计算系统中，将大规模任务卸载到单个边缘节点难以实现实时计算。在此背景下，将多个任务卸载到多个边缘节点进行协作计算成为了有效的解决方案。然而，当任务之间存在复杂依赖关系时，这种卸载方法需要解决任务到节点间的分配问题(即决定将何任务分配到何节点的问题)和节点的通信计算资源分配问题。尤其是在任务或者边缘节点数量较多时，进行任务和资源分配面临着指数级复杂度的挑战。因此需要设计一种高效的多任务卸载和协作计算方法，从而满足未来移动通信服务的需求。

技术实现思路

1、面向未来移动边缘计算网络中多任务的卸载和协作计算场景，为了解决上述问题，本发明旨在提供一种图神经网络辅助强化学习的边缘计算卸载方法及系统，从而实现低时延的移动边缘计算服务。

2、为了实现以上目的，本发明采用了以下方案：

3、一种图神经网络辅助强化学习的边缘计算卸载方法，包括以下步骤：

4、步骤s1：基于移动边缘多任务卸载协作场景，获取移动边缘节点计算服务所需的可拆分任务并拆分为多个子任务，并基于子任务之间的依赖关系进行图建模为有向无环图

5、步骤s2：对所有移动边缘节点对其自身到其他移动边缘节点间的无线信道信息进行估计，并上传至调度器，调度器基于所有边缘节点之间的通信条件、计算条件建模为带权图

6、步骤s3：调度器端分别将和的节点特征和边特征建模为张量，并基于图卷积神经网络进行处理，根据子任务间、移动边缘节点间通信条件和计算条件信息，进行特征提取输出最终状态特征张量；

7、步骤s4：调度器将最终状态特征张量作为观测状态送入训练好的基于ppo算法的深度强化学习智能体进行处理，智能体输出最优的子任务-节点分配，调度器将该分配信息广播至各个移动边缘节点；

8、步骤s5：各个移动边缘节点根据得到的任务-节点分配，跟从子任务依赖关系进行各个子任务的计算。

9、进一步地，所述步骤1中的移动边缘多任务卸载协作场景包括：

10、部署有k个移动边缘节点无线蜂窝小区；

11、基站，所述基站处部署一个调节器，所述调度器向移动边缘节点广播最优的任务分配和资源分配策略。

12、进一步地，步骤s1包含以下几个子步骤：

13、步骤s11.调度器基于移动边缘节点算力和移动边缘节点数量、以及可拆分任务可分割性，将可拆分任务拆分为若干子任务，直至不可拆分为止；

14、步骤s12.调度器将需要计算的拆分得到的所有子任务数量记为j，所有任务的集合记为调度器对子任务之间的依赖关系进行图建模，将所有依赖关系建模为有向无环图其中为任务索引的集合ε＝{0,1}j×j为表征任务之间依赖关系的矩阵；

15、步骤s13.调度器将子任务信息进行归一化或嵌入操作，生成子任务图节点特征向量。

16、进一步地，所述步骤s13中子任务信息包括：子任务任务计算负载ck，子任务计算结果大小rk，该子任务的所有前序任务索引prek，后继任务索引suck，以及该子任务及前序任务当前被分配到的图节点索引nodesk，其中k为子任务索引。

17、进一步地，所述步骤s2具体为：

18、所有移动边缘节点对其自身到其他节点间的无线信道进行估计，得到估计之后的信道信息之后上传至调度器端，将所有边缘节点之间的通信条件、计算条件建模为带权图其中中每个图节点代表一个移动边缘节点及其计算条件，图节点之间的边表示其间通信条件，移动边缘节点索引为m，则所述移动边缘节点间计算条件包括移动边缘节点的处理器计算频率fm，通信条件为所有其他边缘节点到移动边缘节点m之间信道状态向量hm。

19、进一步地，步骤s3包含以下子步骤：

20、s31.将的节点特征和边特征分别建模为子任务节点特征张量、子任务边特征张量，将的节点特征和边特征分别建模为移动边缘节点张量、移动边缘节点边特征张量；

21、s32.搭建基于通信、计算特征的图卷积神经网络，将步骤s31中的子任务节点特征张量、子任务边特征张量、移动边缘节点张量、移动边缘节点边特征张量作为输入送入图卷积神经网络进行处理输出最终状态特征张量vstate。

22、进一步地，所述基于通信、计算特征的图卷积神经网络包含若干图节点信息聚合层和若干前馈网络层；

23、所述图节点信息聚合层分为任务图节点信息聚合层和边缘节点图节点信息聚合层；任务图节点信息聚合层针对每个子任务图节点，根据其特征以及其他任务图节点特征进行图信息聚合；所述边缘节点图节点信息聚合层对于每个移动边缘节点图节点根据其计算能力以及其与其他边缘节点间的通行条件进行图信息聚合。

24、进一步地，任务图节点信息聚合层针对每个子任务图节点，根据其特征以及其他任务图节点特征进行图信息聚合包括：

25、若任务l不为该任务的前序任务，则其对于任务k的权重为0；若为该任务的前序任务，则对所有其他子任务l计算基于通信计算子任务k的信息权重αl,k：

26、

27、其中i(k,l)为判断两任务是否被分配在同一移动边缘节点的函数，若两任务在同一服务器上则其取值为1，反之则为-1；

28、边缘节点图节点信息聚合层对于每个移动边缘节点图节点根据其计算能力以及其与其他边缘节点间的通行条件进行图信息聚合包括：对移动边缘节点m，计算其与另一边缘节点n之间的权重βm,n：

29、

30、其中p为发射功率，σ2为信道背景噪声功率，hm,n为两边缘节点之间的信道增益。

31、进一步地，步骤s4中基于ppo算法的深度强化学习智能体训练包含以下子步骤：

32、1)设定训练循环次数n，随机初始化子任务节点分配；

33、2)智能体将当前时间步最终状态特征张量送入深度神经网络，输出当前的任务分配矩阵at；

34、3)调度器根据该分配矩阵at将分配信息广播至所有移动边缘节点，移动边缘节点接收之后，按照子任务之间依赖关系进行所有任务的卸载和协作计算，并记录从开始卸载到最后一个任务完成的时间开销τt，智能体获得的奖励设置为rt＝-τt，并将这一步的图状态记为将根据at重新分配之后的图状态记为

35、4)智能体将这一步的状态转移保存到经验池中；

36、5)随机从经验池中选择若干样本，并基于ppo强化学习算法对智能体进行训练，直至收敛；

37、6)将训练完毕的智能体网络参数取出作为部署智能体所使用参数。

38、另一方面，本发明提供一种图神经网络辅助强化学习的边缘计算卸载系统，包括：

39、模块一：其用于基于移动边缘多任务卸载协作场景，获取移动边缘节点计算服务所需的可拆分任务并拆分为多个子任务，并基于子任务之间的依赖关系进行图建模为有向无环图

40、模块二：其用于对所有移动边缘节点对其自身到其他移动边缘节点间的无线信道信息进行估计，并上传至调度器，调度器基于所有边缘节点之间的通信条件、计算条件建模为带权图

41、模块三：其用于调度器端分别将和的节点特征和边特征建模为张量，并基于图卷积神经网络进行处理，根据子任务间、移动边缘节点间通信条件和计算条件信息，进行特征提取输出最终状态特征张量；

42、模块四：其用于调度器将最终状态特征张量作为观测状态送入训练好的基于ppo算法的深度强化学习智能体进行处理，智能体输出最优的子任务-节点分配，调度器将该分配信息广播至各个移动边缘节点；

43、模块五：其用于各个移动边缘节点根据得到的任务-节点分配，跟从子任务依赖关系进行各个子任务的计算；

44、所述基于图神经网络和强化学习的移动边缘多任务卸载协作计算系统用于执行基于图神经网络和强化学习的移动边缘多任务卸载协作计算方法中的步骤。

45、与现有技术相比，本发明具有如下有益效果：

46、1.在移动边缘计算场景中，为大量且存在复杂依赖关系的移动边缘任务提供了有效、低时延的卸载与计算方法。

47、2.所提出方法有效利用移动边缘计算场景中的任务、边缘节点的通信条件和计算能力对图节点进行编码，在目标场景下性能优于传统图神经网络，可充分满足移动边缘计算需求。

48、3.相比于传统的凸优化和组合优化方法，本方法显著降低了进行任务分配决策的复杂度，易于在基站处和边缘算力设备上部署。

49、4.所提优化方法具有较高的可扩展性，可推广至移动边缘计算中存在图结构的其他复杂场景。