边缘环境下面向时延约束的计算卸载方法

本发明属于移动边缘计算，具体涉及一种边缘环境下面向时延约束的计算卸载方法。

背景技术：

1、近年来，随着云计算的迅速发展，其作为一种新型的计算模式已引起广泛关注。云计算的核心目标是将计算、存储和网络管理集中于云端，包括蜂窝核心网络、骨干ip网络以及数据中心等。这种架构旨在通过利用云端丰富的可用资源，为受限制的终端用户设备提供弹性的计算和存储能力。尽管云计算提供了海量的服务和资源，为众多新兴应用(如虚拟现实、智能电网和智能环境等)的发展提供了支持，但对于延迟敏感的应用而言，满足时延要求却带来了挑战。特别是在智能城市和物联网等场景中，随着智能设备与人类生活的融合，延迟问题变得更加迫切。然而，当前的云计算仍存在着延迟高、位置感知不清晰以及移动性支持不足等问题，亟待解决。

2、为了解决这个问题，移动边缘计算(mec)应运而生，通过对边缘环境中可用资源的使用，云服务和资源与用户间的距离缩短。mec不是对云计算的取代，而是对云计算的补充。应用程序的延迟敏感部分执行在mec服务器上，而应用程序的非延迟敏感部分执行在云服务器上。mec是一种新颖的范式，与云计算相比，它提供的计算资源与存储资源更接近移动设备的网络边缘。这种部署方式的好处是可以缓解云计算中的网络拥堵，减少响应时延，用户的隐私得到更好地保护。虽然mec服务器的资源较少，但它们更加灵活。优化mec服务器的资源分配自然而然成为了一项具有挑战性的任务，同时功耗和时延等约束也是边缘环境中的计算卸载和资源分配需要面对的一个难题。综上，一种高效的计算卸载和资源分配方法的开发刻不容缓。

3、虽然传统的计算卸载和资源分配方案在某些场景下可以解决问题，但在动态的移动边缘计算环境中，它们面临着复杂的约束条件，从而导致计算复杂性和资源开销的增加，难以高效地解决问题。为了克服这些挑战，研究人员已开始将深度强化学习(drl)引入其中，作为一种适应性强、复杂度低的新兴方法。然而，传统基于值函数的drl方法在处理高维状态空间和大动作空间时存在限制，其性能可能较差，且难以快速收敛至最优策略。因此，迫切需要探索更加高效的基于drl的计算卸载和资源分配方法，以应对mec系统中资源分配的大型连续动作空间需求，以及在动态的mec环境中取得更好的性能表现。

技术实现思路

1、随着物联网、云计算和大数据等技术的快速进步，移动边缘计算(mobile edgecomputing，mec)已经成为解决云数据中心和终端设备之间的距离产生的延迟和功耗问题的方案。但是移动边缘环境下的计算卸载和资源分配也迎面难题，系统状态是动态的，用户需求是不断变化的，这导致了过量的功耗和时延。为了克服这一困难，本发明设计了一种统一的计算卸载与资源分配模型针对时延约束条件下的mec系统，并以降低执行任务的时延和功耗的加权和作为优化的目标。在本发明中，创新了一个预处理任务的优先级机制，基于任务的数据大小和设备的性能，对任务进行优先级排序。此外，还提出了一种基于ddpg的计算卸载与资源分配方法，可以很有效地靠近在动态mec条件下计算卸载和资源分配。在此模型中，actor网络进行计算卸载与资源配置操作，critic网络评估所进行的计算卸载与资源配置操作的得分。大量实验证明所提出的方法能够实现及时的计算卸载和资源分配决策，在最大时延约束下实现了延迟和能耗之间的最佳权衡，并且与其他基准方法相比，达到了更高的任务执行成功率。

2、本发明解决其技术问题具体采用的技术方案是：

3、一种边缘环境下面向时延约束的计算卸载方法，其特征在于，采用统一的计算卸载与资源分配模型针对时延约束条件下的mec系统，并以降低执行任务的时延和功耗的加权和作为优化的目标；根据预处理任务的优先级机制，基于任务的数据大小和设备的性能，对任务进行优先级排序，并采用基于ddpg的计算卸载与资源分配方法，以有效地靠近在动态mec条件下计算卸载和资源分配。

4、进一步地，采用actor网络进行计算卸载与资源配置操作，critic网络评估所进行的计算卸载与资源配置操作的得分。

5、进一步地，采用基于ddpg的计算卸载与资源分配方法，以解决优化问题，并确定最佳的计算卸载和资源分配策略，使移mec系统中的时间延迟和功耗的整体加权平均值最小。

6、进一步地，所述mec系统由基站、移动边缘计算服务器以及k个可充电的移动设备三个主要部分构成，k个可充电移动设备me被记为集合mes＝{me1，me2,me3,……,mek}；移动设备使用5g方式连接到基站，移动边缘计算服务器部署在基站上；系统中所有的移动设备还装备了能量采集元件，使它们能够通过从无线电频率信号采集的能量来增加电量；在每个时间间隔t的开始瞬间，每个移动设备生成一个计算任务该任务有三个参数，即表示执行的数据量，指定执行所需的计算资源，tmax表示必须完成的最长时间；移动设备由基站的无线电频率信号中采集的能量为其提供电量；任务的完成取决于现有的电池电量和与任务相应的最大可容忍延迟；如果不能在规定的时间与当前的电池容量内完成任务，则导致任务被视为失败；在移动边缘计算系统中，由移动设备产生的任务在mec服务器的支持下执行，即任务采取计算卸载模式执行。

7、进一步地，针对mek需要将生成的计算任务采用计算卸载方式卸载到mec服务器上进行边缘计算时的场景，定义为时间间隔t开始瞬间mek上生成的所采取的计算卸载动作；若mek将在本地进行本地计算；若mek将采用计算卸载方式将任务卸载到mec服务器上进行边缘计算；如果mek采用上述第二种方式进行计算，那么执行的数据量也要上传至mec服务器，上传带宽将由基站为其分配；所以，mek在小时间间隔t的信噪比的计算公式定义如下：

8、

9、式中，τ定义为高斯白噪声的平均功率，wk定义为mek在小时间间隔t的传递功率，定义为mek在小时间间隔t的信道增益；则mek传输计算任务的功率的计算公式定义如下：

10、

11、式中，定义为小时间间隔t开始瞬间基站为mek上传任务分配的传输带宽份额，定义为小时间间隔t开始瞬间mec上空闲的上传带宽；

12、当移动设备上计算任务生成后，任务被初步纳入其相应的缓冲队列中；只有在队头任务执行完成出队后，才能执行下一个队头任务；mec服务器和移动设备都进行任务计算，两种计算模式如下定义：

13、1)边缘计算模式：当mek需要将生成的计算任务采用计算卸载方式卸载到mec服务器上进行边缘计算时，mec服务器按照一定的份额为mek分配空闲的计算资源进行边缘计算，任务计算结束后，由mec服务器返回结果至mek；边缘计算模式的时延计算公式定义如下：

14、

15、式中，定义为执行的数据量，定义为执行所需的计算资源，定义为小时间间隔tmec服务器为mek分配的计算资源的份额，定义为小时间间隔t开始瞬间mec服务器上空闲的计算资源；边缘计算模式的功耗计算公式定义如下：

16、

17、式中，pmec定义为mec服务器的计算功率；

18、2)本地计算模式：本地计算模式的时延计算公式定义如下：

19、

20、式中，fk定义为mek的计算性能；本地计算模式的功耗计算公式定义如下：

21、

22、式中，c定义为有效电容系数；

23、计算的时延定义如下：

24、

25、计算的功耗定义如下：

26、

27、并采用预处理任务的优先级机制，优先级计算公式定义为：

28、

29、基于任务的计算环境为其分配优先级，以有效地减少整体计算时间和功耗；

30、mec系统中，所有移动设备上都安装了最大容量记为cmax的可充电电池；且在网络边缘部署能量发射器和mec服务器，以便通过无线电力传输向无线设备按需供应电量；收集到的电量然后被输入到me的可充电电池中，使它们能够执行计算任务；移动设备有两种选择：选择本地计算模式用它来执行本地的计算任务或选择移动边缘计算模式将计算任务卸载到mec服务器上执行；本实施例假设在电量收集过程中，电量以电量包的形式到达移动设备；考虑到任务可能出现的不同的执行状态，移动设备的电量变化对应的可能情况如下所述：

31、(1)如果小时间间隔t中的任务由于决策错误而不能在移动设备现存电量内成功完成或者当前没有任务在运行，在小时间间隔t中只改变无线电组件的充电电量；在小时间间隔t+1的开始瞬间，移动设备电量如下所示：

32、

33、(2)如果小时间间隔t中移动设备生成的任务选择本地计算模式，在小时间间隔t+1的开始瞬间，移动设备电量如下所示：

34、

35、(3)如果小时间间隔t中移动设备生成的任务卸载到mec服务器上选择移动边缘计算模式，在小时间间隔t+1的开始瞬间，移动设备电量如下所示：

36、

37、式中，定义为mek在小时间间隔t的开始瞬间的电量，et定义为小时间间隔t开始瞬间到达移动设备的电量，即电量包大小；

38、移动边缘计算系统旨在最小化执行移动设备任务所产生的时间延迟和功耗的加权平均和，表达为一个优化问题：

39、

40、进一步地，采用基于ddpg的计算卸载与资源分配方法以解决优化问题，确定最佳的计算卸载和资源分配策略，使移动边缘计算系统中的时间延迟和功耗的整体加权平均值最小：

41、状态空间：状态空间包括时间间隔t所有移动设备上生成的计算任务missiont、计算任务的优先级prit、移动设备安装的可充电电池的电量et和此刻mec服务器空闲的计算资源时间间隔t此刻的状态定义为：

42、

43、其中，

44、动作空间：卸载动作αt，计算任务的上传带宽份额wt和计算任务的计算资源份额pt组成了动作空间；在时间间隔t此刻的动作定义为：

45、act＝{αt,wt,pt} 公式(15)

46、其中，

47、奖励函数：考虑目的是确定最佳的计算卸载和资源分配策略，使移动边缘计算系统中的时间延迟和功耗的整体加权平均值最小，同时不违背优化问题的限制；则在时间间隔t此刻的奖励定义为：

48、

49、其中，ω1定义为计算任务所造成的时间延迟的权重，ω2定义为计算任务所需要的功耗的权重；y定义为归一化函数，其作用是将时间延迟和功耗的值归一化到同一维度参与计算；pun定义为任务未完成的惩戒因数；

50、在优化时延约束移动边缘计算环境中的计算卸载和资源分配方面，深度强化学习代理负责基于系统的当前状态stt，包括任务状态和资源使用情况，选择适当的动作act，包括计算模式和资源分配份额；然后，环境考虑到所选择的动作act，以奖励ret的形式作出反馈，并随后过渡到新的系统状态stt+1；以上整个流程表示为马尔可夫决策过程。

51、进一步地，深度神经网络的训练由深度确定性策略梯度算法完成：

52、首先，执行critic网络和actor网络的参数σq和σμ初始化；critic网络参数σq被赋值给目标critic网络参数σq，actor网络参数σμ被赋值给目标actor网络参数σμ；经验回放池erp、训练轮数r和时间序列的长度t初始化；在每轮训练中，actor网络接收每步获得的stt，然后actor网络所输出的act在环境中完成，并实施相对应的计算模式和分配资源份额流程，基于公式(16)进行计算得到奖励总和，接着，环境将本步骤任务的累计奖励ret和系统的下一个环境状态stt+1反馈给critic网络；

53、采用马尔可夫决策过程将状态和行动都视为连续值，对critic网络σq进行训练以逼近q(stt,act)；一旦q(stt,act)被确定，就一定可以找到一个动作act，使目标函数q(stt,act)最大化；

54、利用actor网络，将q(stt,act)定义为：

55、q(stt,act)＝eenvironment[re(stt,act+γq(stt+1,μ(stt+1))] 公式(17)

56、actor网络参数σμ基于系统环境状态stt输出q(stt,act)值最大化的动作act，定义为：

57、act＝μ(stt|σμ) 公式(18)

58、actor网络的效能指标定义为：

59、

60、一旦经验回放池mep中的存储数量到指定的阈值n，网络参数由n条随机提取的记录训练；在优化loss函数时需要解决涉及max表达式的求导数优化的性能出现波动的问题；

61、通过引入target_critic网络σq′和target_actor网络σv′，critic网络对当前的q(stt,act)进行计算并给出目标q值yt的定义：

62、做完act后得到ret和系统的下一个环境状态stt+1：

63、ret，stt+1＝environment.step(act)；

64、再通过给出critic网络的loss函数的定义，并利用梯度上升法将其最小化：

65、

66、然后，采用梯度上升法拟合actor网络的最佳策略方案：

67、

68、在各个训练轮次中，target_critic网络和target_actor网络以步伐ε调整，不断向critic网络和actor网络逼近。

69、考虑移动边缘计算领域具有显著优点和广泛应用价值。移动边缘计算技术提供了在网络边缘部署计算资源和存储资源的能力，从而使用户能够将移动设备上的工作卸载到边缘服务器上，避免了由传输时延引起的服务质量下降。然而，在这个环境下，计算卸载和资源分配面临着动态系统状态和变化的用户需求等挑战，这可能导致过多的功耗和延迟问题。

70、针对这一问题，本发明及其优选方案致力于解决面向时延约束的计算卸载问题，具有以下优点和用途：(1)优化计算卸载和资源分配：通过针对当前的计算资源和网络情况，提供合理的计算卸载和资源分配方案，以提高任务成功率的同时降低任务的运行时延。这有助于克服传统方法中可能出现的过多功耗和延迟问题。(2)mdp问题的形式化：将问题形式化为一个马尔可夫决策过程(mdp)，使得在动态mec系统中的时延约束计算卸载和资源分配问题得以清晰定义和分析。这种形式化有助于为问题建立准确的数学模型，进而为其提供有效解决方法。(3)基于ddpg的技术：引入基于深度强化学习的ddpg技术，以优化任务的执行成功率、延迟和功耗之间的权衡。这种方法充分考虑了系统的长期奖励，针对高维连续动作空间的挑战，具有较快的收敛速度和更好的性能。(4)广泛应用价值：可广泛应用于各种移动边缘计算场景，如智能城市、物联网、智能交通等。它有助于提高任务的执行成功率，减少任务的执行时延和功耗，从而优化用户体验并提高系统效率。

71、通过一系列综合模拟实验验证了该方法的可行性和有效性。实验结果表明，相较于其他基准方法，本发明提出的方法在任务执行成功率方面表现出更高的性能，达到了及时计算卸载和资源分配决策，实现了最大时延约束下的最佳权衡。综上所述，本发明在解决移动边缘计算中的计算卸载和资源分配问题方面具有创新性和实际应用价值。通过优化任务成功率、延迟和功耗之间的平衡，它有望为移动边缘计算领域的发展和提升做出重要贡献。

72、本发明涉及一种边缘环境下面向时延约束的计算卸载与资源分配技术，用于在移动边缘环境中有效地解决计算任务的卸载策略、上传任务的带宽分配和任务的计算资源分配等问题。

73、本发明能够针对不同的系统状态、用户需求和资源分配情况，自动学习出合适的计算卸载策略、带宽分配和计算资源分配方案，从而在移动边缘环境中实现计算任务的高效卸载和资源利用，同时最大限度地满足时延约束。本产品的使用过程能够提高任务的成功率、降低任务的运行时延和功耗，从而优化移动边缘计算系统的性能。