基于OFDMA的双层资源分配模型的资源分配方法

本发明涉及无线网络资源分配，尤其涉及基于ofdma的双层资源分配模型的资源分配方法。

背景技术：

1、为了满足当前通信业务多样化的需求，第五代移动通信系统要求在吞吐量、时延、连接数量以及系统功耗等方面得到大幅提升，并支持多种场景，比较常见的为增强型移动宽带(embb)、海量机器类通信(mmtc)及低时延高可靠通信(urllc)；为了在不进行大规模的变革基础上，满足内容丰富的多场景应用和垂直市场服务，利用软件定义网络和网络功能虚拟化技术实现资源共享和逻辑独立的虚拟网络切片应运而生，网络切片的实质是运营商将物理资源通过网络功能虚拟的技术映射成虚拟资源，再把虚拟资源出售给多个不同服务提供商，而不同的服务提供商则根据用户的服务质量(qos)为用户公平的提供定制化服务，并且切片与切片之间是安全隔离的，即切片是隔离的服务其用户；这种在多场景下的网络切片的架构下，运营商也从之前第四代无线通信网络对用户单一收费的运营模式变成了对切片收费的运营模式，因此如何建立一个能够在保证用户服务质量的情况下同时保证运营商的盈利的模型一个研究热点，并且更重要的是由于5g的多场景情况下，用户的需求变化以及与基站之间的连接信道的变化比4g网络更加的复杂多变，传统的算法(如利用凸优化理论的拉格朗日对偶求解以及使用进化算法的双层求解)在求解方面需要消耗大量实时计算资源以及计算时间，因此传统的算法不能满足5g实际场景的实时性要求。

技术实现思路

1、为了解决上述技术问题，本发明的目的是提供基于ofdma的双层资源分配模型的资源分配方法，能够通过将多智能体强化学习算法与双层资源分配模型进行结合实现安全高效稳定的资源分配方案。

2、本发明所采用的第一技术方案是：基于ofdma的双层资源分配模型的资源分配方法，包括以下步骤：

3、考虑资源的收益与平等分配并结合ofdma技术，构建双层资源分配模型；

4、通过多智能体强化学习算法对双层资源分配模型进行优化处理，得到优化后的双层资源分配模型；

5、根据优化后的双层资源分配模型对用户资源请求数据进行分配处理，得到用户的资源分配方案。

6、进一步，所述考虑资源的收益与平等分配并结合ofdma技术，构建双层资源分配模型这一步骤，其具体包括：

7、考虑运营商的收益以及资源的均衡统一分配，构建上层资源分配模型；

8、考虑资源的平等分配，构建下层资源分配模型；

9、整合上层资源分配模型与下层资源分配模型，构建双层资源分配模型。

10、进一步，所述上层资源分配模型的表达式如下所示：

11、

12、上式中，an表示收益指数，rn表示下层资源分配模型返回的结果，λ1和λ2表示平衡收益与服务商之间的指数，n表示第n个切片，u表示第u个用户，bn,u表示第n个切片内的第u个用户是否满足其所在切片的最低要求，vn,k表示基站将第k个子信道分配给第n个切片，pn表示基站分配资源给第n个切片的功率。

13、进一步，所述下层资源分配模型的表达式如下所示：

14、

15、上式中，k表示第k个子信道，vn,u,k表示基站将第k个子信道分配给第n个切片，第n个切片将第k个子信道分配给第u个用户，pn,u,k表示第n个切片在第k个子信道分配给其第u个用户的功率，u表示用户集合，rn,u,k表示第n个切片中第u个用户在第k个子信道的速率，rdn,u表示第n个切片中第u个用户向切片请求的速率，pn,u表示第n个切片中第u个用户被分配的功率资源。

16、进一步，所述通过多智能体强化学习算法对双层资源分配模型进行优化处理，得到优化后的双层资源分配模型这一步骤，其具体包括：

17、基于matd3智能体强化学习算法对上层资源分配模型进行优化处理，得到优化后的上层资源分配模型；

18、基于td3智能体强化学习算法对下层资源分配模型进行优化处理，得到优化后的下层资源分配模型；

19、整合优化后的上层资源分配模型和优化后的下层资源分配模型，构建优化后的双层资源分配模型。

20、进一步，所述上层资源分配模型包括第一智能体和第二智能体，所述基于matd3智能体强化学习算法对上层资源分配模型进行优化处理，得到优化后的上层资源分配模型这一步骤，其具体包括：

21、初始化上层资源分配模型的状态，所述上层资源分配模型的状态包括上层记忆回放单元、第一智能体的初始状态、第二智能体的初始状态、迭代训练次数和上层时间步长；

22、将第一智能体的初始状态输入至第一智能体中，通过激活函数进行压缩处理，输出子信道分配结果；

23、将第二智能体的初始状态输入至第二智能体中，通过激活函数进行压缩处理，输出功率分配结果；

24、将子信道分配结果与功率分配结果传输至下层资源分配模型进行分配处理，得到下层反馈奖励；

25、整合智能体的初始状态、智能体的输出结果与下层反馈奖励，构建上层四元组并存入上层记忆回放单元；

26、对上层记忆回放单元的存储状态进行判断，对上层时间步长进行加一处理，判断到上层记忆回放单元的存储状态未达到最大存储值，若存储状态已达最大存储值，进行训练，然后更新网络参数；

27、对上层时间步长进行判断，判断到上层时间步长未达到预设阈值，循环上述上层资源分配模型的压缩步骤、分配步骤与构建步骤，直至所述迭代训练次数达到预设阈值，输出优化后的上层资源分配模型。

28、进一步，所述基于td3智能体强化学习算法对下层资源分配模型进行优化处理，得到优化后的下层资源分配模型这一步骤，其具体包括：

29、获取上层资源分配模型的子信道分配结果与功率分配结果并初始化下层资源分配模型与记忆回放单元；

30、将上层资源分配模型的子信道分配结果与功率分配结果输入至初始化下层资源分配模型进行压缩处理，得到用户的资源分配结果；

31、将用户的资源分配结果传输至上层资源分配模型进行分配处理，得到上层反馈奖励；

32、整合下层资源分配模型的初始状态、上层反馈奖励与下层资源分配模型的输出结果构建下层四元组并存入下层记忆回放单元；

33、对下层记忆回放单元的存储状态进行判断，对下层时间步长进行加一处理，判断到下层记忆回放单元的存储状态未达到最大存储值，若存储状态已达最大存储值，进行训练，然后更新网络参数；

34、对下层时间步长进行判断，判断到下层时间步长未达到预设阈值，循环上述下层资源分配模型的压缩步骤、分配步骤与构建步骤，直至所述迭代训练次数达到预设阈值，输出优化后的下层资源分配模型。

35、进一步，所述根据优化后的双层资源分配模型对用户资源请求数据进行分配处理，得到用户的资源分配方案这一步骤，其具体包括：

36、获取用户资源请求数据；

37、将用户资源请求数据输入至优化后的上层资源分配模型进行迭代分配，直至上层分配资源结果满足收敛条件，输出子信道分配结果与功率分配结果；

38、将子信道分配结果与功率分配结果输入至优化后的下层资源分配模型进行迭代分配，直至下层资源分配结果满足收敛条件，输出用户的资源分配方案。

39、本发明方法的有益效果是：本发明通过构建双层资源分配模型，充分考虑如何保证运营商盈利以及服务的基础上分配资源和切片如何公平地对资源再分配给用户几个因素，进一步通过多智能体强化学习方法对双层资源分配模型进行优化，提出上层资源分配模型与matd3强化学习算法相结合，下层资源分配模型根据切片个数与相应数量td3强化学习算法智能体相结合的架构，方便于模型扩展切片数量，并且具有良好的扩展性和稳定性，使用matd3和td3强化学习的算法实现了子信道和功率资源的同时分配，下层中的多个td3强化学习算法智能体实现了切片之间的隔离，满足5g网络对切片安全性的要求。