资源调度策略确定方法、装置、设备、存储介质和程序产品与流程

本技术属于网络资源分配的，尤其涉及一种资源调度策略确定方法、装置、设备、存储介质和程序产品。

背景技术：

1、车联网是指由车辆位置、速度、路线等信息组成的巨大网络。车联网主要包括两种通信方式，分别是车与车之间的通信，车与基站之间的通信。随着车联网中智能城市、智慧交通、自动驾驶等应用的出现，在增加计算能力、减少任务延迟、增强服务质量等方面提出了更加苛刻的要求。

2、目前，随着技术的发展，已经将无人机辅助和数字孪生技术引入到车联网场景中，用于解决资源调度问题，但是，采用无人机辅助和数字孪生技术在进行资源分配时，通常只考虑任务本地执行、卸载至无人机或卸载至基站的单一卸载方案，不能灵活的利用计算资源，导致计算资源的浪费，同时在卸载至无人机或卸载至基站情况下，增加任务延迟，不能及时处理计算任务。

技术实现思路

1、本技术实施例提供一种资源调度策略确定方法、装置、设备、存储介质和程序产品，能够灵活对计算资源进行调度，降低任务延迟。

2、一方面，本技术实施例提供一种资源调度策略确定方法，方法包括：

3、获取第一车辆的计算任务的任务特征信息、所述第一车辆的第一空闲资源和至少一个第二车辆的第二空闲资源，所述任务特征信息包括计算任务需求资源；

4、在所述第一空闲资源小于所述计算任务需求资源的情况下，基于所述任务特征信息和所述第二空闲资源确定所述第二车辆执行所述计算任务对应的第一执行时长函数和第一效用函数；

5、在所述计算任务需求资源小于所述第二空闲资源的情况下，将所述计算任务输入至车辆马尔可夫决策模型内，以第一执行时长函数最小化、第一效用函数最大化为优化目标，利用所述车辆马尔可夫决策模型对所述计算任务进行处理，得到所述计算任务的第一资源调度策略，其中，所述第一资源调度策略包括执行所述计算任务的目标第二车辆及其对应的资源分配策略。

6、可选地，在所述基于所述任务特征信息和所述第二空闲资源确定所述第二车辆执行所述计算任务对应的第一执行时长函数和第一效用函数之前，所述方法还包括：

7、分别获取所述基站的第一数字孪生信息、所述第二车辆的第二数字孪生信息和所述第一车辆的第三数字孪生信息；

8、根据所述基站的第一数字孪生信息构建基站孪生体；

9、根据所述第二车辆的第二数字孪生信息构建第二车辆孪生体；

10、根据所述第一车辆的第三数字孪生信息构建第一车辆孪生体；

11、根据所述基站孪生体、第二车辆孪生体和第一车辆孪生体构建资源调度孪生系统；

12、所述基于所述任务特征信息和所述第二空闲资源确定所述第二车辆执行所述计算任务对应的第一执行时长函数和第一效用函数，包括：

13、在所述资源调度孪生系统内，基于所述任务特征信息和所述第二空闲资源确定所述第二车辆执行所述计算任务对应的第一执行时长函数和第一效用函数。

14、可选地，在所述资源调度孪生系统内，基于所述任务特征信息和所述第二空闲资源确定所述第二车辆执行所述计算任务对应的第一执行时长函数和第一效用函数，包括：

15、获取所述计算任务在所述第一车辆与所述第二车辆之间进行传输的第一传输时长、计算任务在所述第二车辆的第一等候时长和所述第二车辆执行所述计算任务的第一处理时长；

16、计算所述第一传输时长、第一等候时长和第一处理时长的和值，得到所述第二车辆执行所述计算任务的第一执行时长函数；

17、获取所述计算任务在所述第一车辆与所述第二车辆之间进行传输的第一能量损耗、所述第二车辆执行所述计算任务的第二能量损耗以及所述资源调度孪生系统与所述资源调度系统之间的能量损耗偏差；

18、计算所述第一能量损耗、第二能量损耗和能量损耗偏差的和值，得到所述第二车辆的第一总能量损耗；

19、根据所述第一执行时长、第一总能量损耗、预设执行成本和预设效用系数确定所述第二车辆执行所述计算任务的第一效用函数。

20、可选地，所述任务特征信息还包括计算任务属性；

21、在所述计算任务属性确定为可拆分属性的情况下，所述基于所述任务特征信息和所述第二空闲资源确定所述第二车辆执行所述计算任务对应的第一执行时长函数和第一效用函数，包括：

22、对所述计算任务进行拆分，得到多个计算子任务；

23、获取每个所述计算子任务在所述第一车辆与每个所述第二车辆之间进行传输的第二传输时长、每个计算子任务在所述第二车辆的第二等候时长和执行所述计算子任务的第二处理时长；

24、计算所述第二传输时长、第二等候时长和第二处理时长的和值，得到所述第二车辆执行所述计算任务的第二执行时长函数；

25、将所述第二执行时长函数确定为新的第一执行时长函数；

26、获取每个所述计算子任务在所述第一车辆与所述第二车辆之间进行传输的第三能量损耗、每个所述第二车辆执行所述计算子任务的第四能量损耗以及所述资源调度孪生系统与所述资源调度系统之间的能量损耗偏差；

27、计算所述第三能量损耗、第四能量损耗和能量损耗偏差的和值，得到所述第二车辆的第二总能量损耗；

28、根据所述第二执行时长、第二总能量损耗、预设执行成本和预设效用系数确定所述第二车辆的第二效用函数；

29、将所述第二效用函数确定为新的第一效用函数。

30、可选地，所述任务特征信息还包括计算任务实际大小；

31、在所述将所述计算任务输入至车辆马尔可夫决策模型内之前，所述方法还包括：

32、获取所述第一车辆的第一状态信息和第二车辆的第二状态信息，所述第一状态信息包括第一车辆数量及其对应的计算资源大小、第一车辆位置，所述第二状态信息包括第二车辆数量及其对应的计算资源大小、第二车辆位置；

33、基于所述计算任务实际大小、第一状态信息和第二状态信息构建车辆状态空间；

34、基于所述第一车辆位置、第二车辆位置和预设传输距离确定可用第二车辆集合；

35、基于所述可用第二车辆集合构建车辆动作空间；

36、基于计算任务对应的执行时长、计算任务需求资源和计算任务实际大小确定车辆激励函数；

37、根据所述车辆状态空间、车辆动作空间和车辆激励函数构建车辆马尔可夫决策模型。

38、可选地，所述将所述计算任务输入至车辆马尔可夫决策模型内，以执行时长函数最小化、效用函数最大化为优化目标，利用所述车辆马尔可夫决策模型对所述计算任务进行处理，得到所述计算任务的第一资源调度策略，包括：

39、初始化所述车辆马尔可夫决策模型的网络参数和目标权重；

40、在所述车辆马尔可夫决策模型的状态空间中选取预设数量的预测样本；

41、分别计算所述预测样本的双q函数的函数值；

42、在所述双q函数的函数值不满足预设收敛条件的情况下，更新所述网络参数和目标权重，以调整车辆马尔可夫决策模型的调整参数，直至所述双q函数满足预设收敛条件，输出最小所述双q函数对应的第一资源调度策略。

43、可选地，在所述计算任务需求资源大于或等于所述第二空闲资源的情况下，所述方法还包括：

44、获取所述基站的第三空闲资源；

45、基于所述任务特征信息和所述第三空闲资源确定所述基站执行所述计算任务对应的第三执行时长函数和第三效用函数；

46、将所述计算任务输入至基站马尔可夫决策模型内，以所述第三执行时长函数最小化、第三效用函数最大化为优化目标，利用所述基站马尔可夫决策模型对所述计算任务进行处理，得到第二资源调度策略，其中，所述第二资源调度策略包括执行所述计算任务的目标基站及其对应的资源分配策略。

47、可选地，在所述资源调度孪生系统内，基于所述任务特征信息和所述第三空闲资源确定所述基站执行所述计算任务对应的第三执行时长函数和第三效用函数，包括：

48、获取所述计算任务在所述第一车辆与所述基站之间进行传输的第三传输时长、计算任务在所述基站的第三等候时长和所述基站执行所述计算任务的第三处理时长；

49、计算所述第三传输时长、第三等候时长和第三处理时长的和值，得到所述基站执行所述计算任务的第三执行时长函数；

50、获取所述计算任务在所述第一车辆和所述基站之间进行传输的第五能量损耗、所述基站执行所述计算任务的第六能量损耗以及所述资源调度孪生系统与所述资源调度系统之间的能量损耗偏差；

51、计算所述第五能量损耗、第六能量损耗和能量损耗偏差的和值，得到所述基站的第三总能量损耗；

52、根据所述第三执行时长、第三总能量损耗、预设执行成本和预设效用系数确定所述基站执行所述计算任务的第三效用函数。

53、可选地，所述资源调度孪生系统还包括多个无人机，所述无人机分别与所述基站孪生体、第一车辆孪生体和至少一个第二车辆孪生体通信连接；

54、在所述资源调度孪生系统内，基于所述任务特征信息和所述第三空闲资源确定所述基站执行所述计算任务对应的第三执行时长函数和第三效用函数，还包括：

55、获取所述计算任务在所述第一车辆传输至无人机的第四传输时长，所述计算任务在所述无人机与邻近基站的第五传输时长和所述邻近基站处理所述计算任务的第四处理时长；

56、计算所述第四传输时长、第五传输时长和第四处理时长的和值，得到所述邻近基站执行所述计算任务的第四执行时长函数；

57、将所述第四执行时长函数确定为新的第三执行时长函数；

58、获取所述计算任务在所述第一车辆传输至所述无人机的第七能量损耗、所述计算任务在所述无人机与邻近基站之间传输的第八能量损耗和所述邻近基站处理所述计算任务的第九能量损耗；

59、计算所述第七能量损耗、第八能量损耗、第九能量损耗和能量损耗偏差的和值，得到第四总能量损耗；

60、根据所述第四执行时长、第四总能量损耗、预设执行成本和预设效用系数确定所述基站执行所述计算任务的第四效用函数；

61、将所述第四效用函数确定为新的第三效用函数。

62、可选地，在所述将所述计算任务输入至基站马尔可夫决策模型内之前，所述方法还包括：

63、获取所述基站的第三状态信息，所述第三状态信息包括基站数量及每个基站对应的计算资源大小和基站位置；

64、基于所述计算任务实际大小和第三状态信息，构建基站状态空间；

65、基于所述第一车辆位置、所述基站位置和预设传输距离，确定可用基站集合；

66、基于所述可用基站集合，构建基站动作空间；

67、基于计算任务对应的效用函数、计算任务需求资源和计算任务实际大小，确定基站激励函数；

68、根据所述基站状态空间、基站动作空间和基站激励函数，构建基站马尔可夫决策模型。

69、另一方面，本技术实施例提供了一种资源调度策略确定装置，装置包括：

70、获取模块，用于获取第一车辆的计算任务的任务特征信息、所述第一车辆的第一空闲资源和至少一个第二车辆的第二空闲资源，所述任务特征信息包括计算任务需求资源；

71、确定模块，用于在所述第一空闲资源小于所述计算任务需求资源的情况下，基于所述任务特征信息和所述第二空闲资源确定所述第二车辆执行所述计算任务对应的第一执行时长函数和第一效用函数；

72、优化模块，用于在所述计算任务需求资源小于所述第二空闲资源的情况下，将所述计算任务输入至车辆马尔可夫决策模型内，以执行时长函数最小化、效用函数最大化为优化目标，利用所述车辆马尔可夫决策模型对所述计算任务进行处理，得到所述计算任务的第一资源调度策略，其中，所述第一资源调度策略包括执行所述计算任务的目标第二车辆及其对应的资源分配策略。

73、再一方面，本技术实施例提供了一种电子设备，所述设备包括：处理器以及存储有计算机程序指令的存储器；

74、所述处理器执行所述计算机程序指令时实现如第一方面所述的资源调度策略确定方法。

75、再一方面，本技术实施例提供了一种计算机存储介质，所述计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如第一方面所述的资源调度策略确定方法。

76、再一方面，本技术实施例提供了一种计算机程序产品，所述计算机程序产品中的指令由电子设备的处理器执行时，使得所述电子设备执行如第一方面所述的资源调度策略确定方法。

77、本技术实施例的资源调度策略确定方法、装置、设备及计算机存储介质，在本技术实施例中，在第一车辆的第一空闲资源不满足执行计算任务的计算任务所需资源的情况下，根据任务特征信息和第二车辆的第二空闲资源确定第二车辆的第一执行时长函数和第一效用函数，之后通过在车辆马尔可夫决策模型内，以第一执行时长函数最小化和第一效用函数最大化为优化目标，确定执行计算任务的目标第二车辆和需要占用目标第二车辆的资源，针对车辆集合，采用确定的目标第二车辆执行计算任务，相较于其他第二车辆，第一执行时长函数值最小，第一效用函数值最大，即能够最快执行计算任务，且能够将第二空闲资源的利用率达到最大化，既能满足计算任务的实时性要求，又能够减少计算资源的浪费。