一种基于深度强化学习的多源卫星调度方法和装置

本技术涉及成像卫星调度领域，特别涉及一种基于深度强化学习的多源卫星调度方法和装置。

背景技术：

1、成像卫星是指可以在太空中拍摄图像的卫星，成像卫星拍摄到的图像对于军事和民用都具有重大意义。为了得到实时性高的图像，通常调度多源卫星(多个卫星组成的卫星群)进行拍摄，由此引入了多源卫星的调度问题，即当传输一个任务给卫星群时，需要决定这个任务是否被执行，若需要被执行，则分配给哪些卫星执行。

2、相关技术中，利用深度强化学习来进行多源卫星资源调度，该方法虽然可以满足实时性调度的需求，但现有的深度强化学习方法的训练速度较慢，并且训练得到的模型收益不高。因此，如何缩短模型的训练时间、提升模型的收益，是本领域技术人员亟待解决的技术问题。

技术实现思路

1、鉴于上述问题，本技术实施例提供了一种基于深度强化学习的多源卫星调度方法和装置，以便克服上述问题或者至少部分地解决上述问题。

2、本技术实施例的第一方面，公开了一种基于深度强化学习的多源卫星调度方法，所述方法包括：

3、获取当前多源卫星状态，所述当前多源卫星状态是在上一次调度时多源卫星状态的基础上，根据上一次调度结果和当前任务的任务信息更新得到的；

4、将所述当前多源卫星状态输入预先训练的多源卫星调度模型，得到每个卫星的放弃执行任务概率和执行任务概率；

5、基于所述放弃执行任务概率和所述执行任务概率，结合随机函数判断每个卫星是否执行所述当前任务，得到多源卫星调度结果；

6、其中，所述多源卫星调度模型是基于等量的好的调度经历和不好的调度经历组成训练样本，并基于深度强化学习训练得到的，所述好的调度经历是指任务收益为正的调度经历，所述不好的调度经历是指任务收益为负的调度经历。

7、可选地，所述多源卫星调度模型按照以下步骤进行训练：

8、构建多源卫星调度模型，并利用所述多源卫星调度模型执行调度任务，得到调度经历；

9、将任务收益为正值的调度经历作为好的调度经历放入正缓冲区进行保存，将任务收益为负值的调度经历作为不好的调度经历放入负缓冲区进行保存，所述正缓冲区和所述负缓冲区的容量需要满足调度经历的存储需求；

10、在所述正缓冲区和所述负缓冲区的调度经历数量达到训练阈值后，分别从所述正缓冲区和所述负缓冲区随机采样等量的好的调度经历和不好的调度经历组成训练样本；

11、将所述训练样本输入到所述多源卫星调度模型进行学习，并基于多智能体深度确定性策略梯度对所述多源卫星调度模型的模型参数进行更新，在满足训练结束条件的情况下后，得到训练好的多源卫星调度模型。

12、可选地，所述多源卫星调度模型包括：推理模型和目标模型，所述推理模型由n个行动者模型和1个评判者模型按照多智能体深度确定性策略梯度结构的要求连接得到，所述目标模型由n个目标行动者模型和1个目标评判者模型按照多智能体深度确定性策略梯度结构的要求连接得到；所述基于多智能体深度确定性策略梯度对所述多源卫星调度模型的模型参数进行更新，包括：

13、所述多源卫星调度模型对输入的训练数据进行处理，得到状态价值；

14、以状态价值最大化为目标，基于状态价值的梯度分别对所述n个行动者模型的参数进行更新；

15、以最小化状态价值和期望状态价值之间的误差为目标，基于状态价值的误差对所述评判者模型进行参数更新；

16、采用指数平均移动的方式分别对所述n个目标行动者模型和1个目标评判者模型的参数进行更新。

17、可选地，在完成一次训练之后，所述方法还包括：

18、利用参数更新后的多源卫星调度模型执行一次任务的调度，得到一条新的调度经历；

19、将所述新的调度经历放入到对应的缓冲区之后，从所述正缓冲区和所述负缓冲区随机采样等量的好的调度经历和不好的调度经历组成新的训练样本；

20、将所述新的训练样本输入到所述参数更新后的多源卫星调度模型进行训练。

21、可选地，所述利用所述多源卫星调度模型执行调度任务，得到调度经历，包括：

22、将第i次调度的多源卫星状态输入到所述多源卫星调度模型，得到每个卫星的放弃执行第i个任务概率和执行第i个任务概率；

23、根据所述放弃执行第i个任务概率和所述执行第i个任务概率，判断每个卫星是否执行第i个任务，得到第i次调度结果；

24、根据所述第i次调度结果和第i个任务的任务信息，计算出每个卫星第i个任务的任务收益和第i+1次调度的多源卫星状态，并判断调度任务是否结束；

25、将所述第i次调度的多源卫星状态、所述每个卫星的放弃执行第i个任务概率和执行第i个任务概率、所述每个卫星第i个任务的任务收益、所述第i+1次调度的多源卫星状态、调度任务是否结束判断结果组成一次调度经历。

26、可选地，所述根据所述第i次调度结果和第i个任务的任务信息，计算出每个卫星第i个任务的任务收益，包括：

27、针对选择不执行第i个任务的卫星，每个卫星第i个任务的任务收益为0；

28、针对选择执行第i个任务的卫星，每个卫星第i个任务的任务收益相同，所述第i个任务的任务收益，表示为：

29、

30、其中，表示卫星l选择执行第i个任务的任务收益，ωi表示第i个任务的优先级，ki表示所有选择执行任务i的卫星总数目，storage_consumei表示代表第i个任务所需要的内存占用。

31、可选地，所述判断调度任务是否结束，包括：

32、检测每个卫星的剩余可用容量；

33、在所有卫星的剩余可用容量都无法再执行一个任务的情况下，判断调度任务已经完成，否则判断调度任务没有完成。

34、可选地，所述多源卫星状态中的每一个卫星状态包括：任务的优先级、所有卫星在决策任务时的容量可用率、所有卫星在决策任务时的总执行任务时间比例；所述获取当前多源卫星的状态，包括：

35、利用当前任务的优先级替代所述上一次调度时多源卫星状态中的任务的优先级；

36、根据所述上一次调度结果，对所述上一次调度时多源卫星状态中执行任务的卫星的容量可用率和总执行任务时间比例进行更新；

37、将更新后的多源卫星的状态作为当前多源卫星的状态。

38、可选地，在每一幕调度任务开始时，按照以下方式设置多源卫星的初始化状态：

39、将第一个任务的优先级设置为所述初始化状态的任务的优先级；

40、将所有卫星在决策任务时的容量可用率设置为1；

41、将所有卫星在决策任务时的总执行任务时间比例设置为0。

42、可选地，每个卫星的放弃执行任务概率和执行任务概率的和为1；所述基于所述放弃执行任务概率和所述执行任务概率，结合随机函数判断每个卫星是否执行当前任务，包括：

43、利用随机函数生成一个0到1之间的概率阈值；

44、在所述概率阈值小于等于所述放弃执行任务概率的情况下，判断卫星选择不执行当前任务；

45、在所述概率阈值大于所述放弃执行任务概率的情况下，判断卫星选择执行当前任务。

46、本技术实施例的第二方面，公开了一种基于深度强化学习的多源卫星调度装置，所述装置包括：

47、状态模块，用于获取当前多源卫星状态，所述当前多源卫星状态是在上一次调度时多源卫星状态的基础上，根据上一次调度结果和当前任务的任务信息更新得到的；

48、概率模块，用于将所述当前多源卫星状态输入预先训练的多源卫星调度模型，得到每个卫星的放弃执行任务概率和执行任务概率；

49、判断模块，用于基于所述放弃执行任务概率和所述执行任务概率，结合随机函数判断每个卫星是否执行所述当前任务，得到多源卫星调度结果；

50、其中，所述多源卫星调度模型是基于等量的好的调度经历和不好的调度经历组成训练样本，并基于深度强化学习训练得到的，所述好的调度经历是指任务收益为正的调度经历，所述不好的调度经历是指任务收益为负的调度经历。

51、本技术实施例包括以下优点：

52、在本技术实施例中，多源卫星调度模型根据当前多源卫星状态得到每个卫星的放弃执行任务概率和执行任务概率，进而基于放弃执行任务概率和执行任务概率，结合随机函数判断每个卫星是否执行当前任务，得到多源卫星调度结果。由于多源卫星调度模型是基于等量的好的调度经历和不好的调度经历组成训练样本，并基于深度强化学习训练得到的，保证多源卫星调度模型每次训练都能够从好的调度经历学习好的动作，能够从不好的调度经历避免不好的动作，使得训练过程更加合理，因而加快了多源卫星调度模型的训练收敛速度，大大缩短训练时间，提升了多源卫星调度模型的收益。