一种切片无线资源配置方法、装置及存储介质与流程

本发明涉及通信，特别涉及一种切片无线资源配置方法、装置及存储介质。

背景技术：

1、网络切片基于软定义网络与网络功能虚拟化技术，将相同物理网络抽象成若干定制化传输通道，以赋能5g千行百业中具有差异化传输需求的多元数字业务。其中，如何动态配置无线接入网切片资源是保障业务sla(服务等级协议，service level agreement)需求的关键。

2、ran(无线接入网络，radio access network)切片资源配置方法主要分为基于模型的配置方法、非基于优化算法的方法，以及基于强化学习的智能配置方法。目前，基于模型的最优化方法广泛应用于ran切片问题，可以在简化的网络统计模型下有效管理小规模网络。现有工作主要将ran切片问题建模成最优化问题，以最大化网络性能/运营商收益为目标，满足特定切片的qos(服务质量，quality of service)限制。另外，非基于优化模型的切片资源配置方法主要根据业务吞吐量比例分配切片资源，或平均分配切片资源，该类方法易于实现，但自适应能力较弱。为提高切片资源配置方法对复杂业务流量模式与差异化传输需求的自适应能力，近年来基于强化学习的智能切片资源配置方法受到广泛关注。该方法主要以最大化网络资源利用率为奖励，以网络资源配置数量为动作，通过与网络环境进行闭环交互，从而逐步提高累积奖励值。基于强化学习的切片资源配置方法可自动适应多元业务需求与网络环境，以满足业务动态传输需求。

3、现有技术的不足在于：基于强化学习的动态资源配置方法会出现因无法预知网络性能状态，算法收敛速度慢，无法快速提供切片配置决策的问题。

技术实现思路

1、本发明提供了一种切片无线资源配置方法、装置及存储介质，用以解决基于强化学习的动态资源配置方法会出现因无法预知网络性能状态，算法收敛速度慢，无法快速提供切片配置决策的问题。

2、本发明提供以下技术方案：

3、一种切片无线资源配置方法，包括：

4、对网络和/或切片的状态和/或性能进行预测和/或分析；

5、根据预测结果和/或分析结果进行切片资源配置。

6、实施中，根据预测结果和/或分析结果进行切片资源配置，包括：

7、根据采集的切片和/或网络的状态和/或性能数据按第一切片资源配置模型确定第一切片资源配置，所述第一切片资源配置模型是根据历史切片和/或网络的状态和/或性能数据，基于机器学习算法进行第一切片资源配置模型训练获得的；

8、采用强化学习算法对第一切片资源配置进行第二切片资源配置。

9、实施中，根据采集的切片网络数据按第一切片资源配置模型确定第一切片资源预配置前，对网络和/或切片进行预测包括：

10、根据采集的网络的状态和/或性能数据对网络和/或切片的状态和/或性能进行预测和/或分析；

11、根据采集的切片状态和/或性能数据对切片状态和/或性能进行预测和/或分析；

12、根据切片性能的预测和/或分析结果以及切片性能需求参数，确定当前切片性能是否符合业务需求；

13、在不符合业务需求时，根据采集的切片和/或网络的状态和/或性能数据按第一切片资源配置模型确定第一切片资源配置。

14、实施中，采集的切片和/或网络的状态和/或性能数据，包括以下数据之一或者其组合：

15、从基站采集切片资源配置数据、从基站采集网络的状态和/或性能数据、从基站采集切片状态和/或性能数据、从服务管理与编排单元和/或网络管理单元和/或网络优化单元获取切片性能需求参数。

16、实施中，进一步包括：

17、使用以下方式之一或者其组合将网络状态和/性能数据处理为切片状态和/或性能数据：

18、均值计算、状态参数归一化、状态参数规范化。

19、实施中，根据采集的切片和/或网络的状态和/或性能数据采用以下机器学习预测算法之一或者其组合对网络的状态和/或性能进行预测：lstm算法、决策树算法、支持向量机、随机森林、cnn算法、dnn算法。

20、实施中，统计网络和/或切片性能，是统计以下网络和/或切片性能参数之一或者其组合：

21、吞吐量、时延、误码率、丢包率。

22、实施中，确定当前切片性能是否符合业务需求，是通过根据行业需求的网络业务性能参数阈值来判断切片资源配置质量，从而确定当前切片性能是否符合业务需求。

23、实施中，基于机器学习算法进行第一切片资源配置模型训练获得所述第一切片资源配置模型，是基于以下算法之一或者其组合训练获得的：dnn算法、lstm算法、rnn算法、cnn算法。

24、实施中，第一切片资源配置是ue级和/或业务级和/或切片级的prb数量分配。

25、实施中，强化学习算法为以下算法之一或者其组合：

26、多臂赌博机算法、q-learning。

27、实施中，采用强化学习算法对第一切片资源配置进行第二切片资源配置，是通过模型不确定性计算生成配置动作空间的。

28、实施中，通过模型不确定性计算生成配置动作空间，是通过计算深度学习模型预测值的抖动来计算生成配置动作空间的。

29、实施中，配置动作选择是依据切片sla保证率最大化原则，从配置动作空间选择切片资源配置结果。

30、实施中，基站根据切片资源配置结果进行无线资源配置，配置结果是以下方式之一：

31、ue级和/或业务级和/或切片级的prb资源数量。

32、一种切片无线资源配置装置，包括：

33、处理器，用于读取存储器中的程序，执行下列过程：

34、对网络和/或切片的状态和/或性能进行预测和/或分析；

35、根据预测结果和/或分析结果进行切片资源配置；

36、收发机，用于在处理器的控制下接收和发送数据。

37、实施中，根据预测结果和/或分析结果进行切片资源配置，包括：

38、根据采集的切片和/或网络的状态和/或性能数据按第一切片资源配置模型确定第一切片资源配置，所述第一切片资源配置模型是根据历史切片和/或网络的状态和/或性能数据，基于机器学习算法进行第一切片资源配置模型训练获得的；

39、采用强化学习算法对第一切片资源配置进行第二切片资源配置。

40、实施中，根据采集的切片和/或网络的状态和/或性能数据按第一切片资源配置模型确定第一切片资源配置前，对网络和/或切片的状态和/或性能进行预测和/或分析包括：

41、根据采集的网络的状态和/或性能数据对网络和/或切片的状态和/或性能进行预测和/或分析；

42、根据采集的切片状态和/或性能数据对切片状态和/或性能进行预测和/或分析；

43、根据切片性能的预测和/或分析结果以及切片性能需求参数，确定当前切片性能是否符合业务需求；

44、在不符合业务需求时，根据采集的切片和/或网络的状态和/或性能数据按第一切片资源配置模型确定第一切片资源配置。

45、实施中，采集的切片和/或网络的状态和/或性能数据，包括以下数据之一或者其组合：

46、从基站采集切片资源配置数据、从基站采集网络的状态和/或性能数据、从基站采集切片状态和/或性能数据、从服务管理与编排单元和/或网络管理单元和/或网络优化单元获取切片性能需求参数。

47、实施中，进一步包括：

48、使用以下方式之一或者其组合将网络状态和/性能数据处理为切片状态和/或性能数据：

49、均值计算、状态参数归一化、状态参数规范化。

50、实施中，根据采集的切片和/或网络的状态和/或性能数据采用以下机器学习预测算法之一或者其组合对网络的状态和/或性能进行预测：lstm算法、决策树算法、支持向量机、随机森林、cnn算法、dnn算法。

51、实施中，统计网络和/或切片性能，是统计以下网络和/或切片性能参数之一或者其组合：

52、吞吐量、时延、误码率、丢包率。

53、实施中，确定当前切片性能是否符合业务需求，是通过根据行业需求的网络业务性能参数阈值来判断切片资源配置质量，从而确定当前切片性能是否符合业务需求。

54、实施中，基于机器学习算法进行第一切片资源配置模型训练获得所述第一切片资源配置模型，是基于以下算法之一或者其组合训练获得的：dnn机器学习算法、lstm算法、rnn算法、cnn算法。

55、实施中，第一切片资源预配置是ue级和/或业务级和/或切片级的prb数量分配。

56、实施中，强化学习算法为以下算法之一或者其组合：

57、多臂赌博机算法、q-learning。

58、实施中，采用强化学习算法对第一切片资源配置进行第二切片资源配置，是通过模型不确定性计算生成配置动作空间的。

59、实施中，通过模型不确定性计算生成配置动作空间，是通过计算深度学习模型预测值的抖动来计算生成配置动作空间的。

60、实施中，配置动作选择是依据切片sla保证率最大化原则，从配置动作空间选择切片资源配置结果。

61、一种切片无线资源配置装置，包括：

62、预测和分析单元，用于对网络和/或切片的状态和/或性能进行预测和/或分析；

63、配置单元，用于根据预测结果和/或分析结果进行切片资源配置。

64、实施中，配置单元包括：

65、第一配置模块，用于根据采集的切片和/或网络的状态和/或性能数据按第一切片资源配置模型确定第一切片资源配置，所述第一切片资源配置模型是根据历史切片和/或网络的状态和/或性能数据，基于机器学习算法进行第一切片资源配置模型训练获得的；

66、第二配置模块，用于采用强化学习算法对第一切片资源配置进行第二切片资源配置。

67、实施中，预测和分析单元包括：

68、预判断模块，用于根据采集的切片和/或网络的状态和/或性能数据按第一切片资源配置模型确定第一切片资源配置前，根据采集的切片和/或网络的状态和/或性能数据对切片和/或网络的状态和/或性能进行预测，统计切片性能；

69、根据切片性能统计结果以及切片性能需求参数，确定当前切片性能是否符合业务需求；

70、在不符合业务需求时，触发第一配置模块根据采集的切片和/或网络的状态和/或性能数据按第一切片资源配置模型确定第一切片资源配置。

71、实施中，预判断模块进一步用于采集的切片和/或网络的状态和/或性能数据，包括以下数据之一或者其组合：

72、从基站采集切片资源配置数据、从基站采集网络的状态和/或性能数据、从基站采集切片状态和/或性能数据、从服务管理与编排单元和/或网络管理单元和/或网络优化单元获取切片性能需求参数。

73、实施中，预判断模块进一步用于使用以下方式之一或者其组合将网络状态和/性能数据处理为切片状态和/或性能数据：

74、均值计算、状态参数归一化、状态参数规范化。

75、实施中，预判断模块进一步用于根据采集的切片和/或网络的状态和/或性能数据采用以下机器学习预测算法之一或者其组合对网络的状态和/或性能进行预测：lstm算法、决策树算法、支持向量机、随机森林、cnn算法、dnn算法。

76、实施中，预判断模块进一步用于统计以下切片和/或网络的性能参数之一或者其组合统计网络和/或切片性能：

77、吞吐量、时延、误码率、丢包率。

78、实施中，预判断模块进一步用于通过根据行业需求的网络业务性能参数阈值来判断切片资源配置质量，从而确定当前切片性能是否符合业务需求。

79、实施中，第一配置模块进一步用于基于机器学习算法进行第一切片资源配置模型训练获得所述第一切片资源配置模型时，基于以下算法之一或者其组合训练获得的：dnn算法、lstm算法、rnn算法、cnn算法。

80、实施中，第一配置模块进一步用于第一切片资源预配置是ue级和/或业务级和/或切片级的prb数量分配。

81、实施中，第二配置模块进一步用于强化学习算法为以下算法之一或者其组合：

82、多臂赌博机算法、q-learning。

83、实施中，第二配置模块进一步用于在采用强化学习算法对第一切片资源配置进行第二切片资源配置时，通过模型不确定性计算生成配置动作空间。

84、实施中，第二配置模块进一步用于通过模型不确定性计算生成配置动作空间时，通过计算深度学习模型预测值的抖动来计算生成配置动作空间。

85、实施中，第二配置模块进一步用于在配置动作选择时，配置动作选择是依据切片sla保证率最大化原则，从配置动作空间选择切片资源配置结果。

86、实施中，基站根据切片资源配置结果进行无线资源配置，配置结果是以下方式之一：

87、ue级和/或业务级和/或切片级的prb资源数量。

88、一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述切片无线资源配置方法。

89、本发明有益效果如下：

90、在本发明实施例提供的技术方案中，由于会主动去对网络和/或切片的状态和/或性能进行预测和/或分析；然后才根据预测结果和/或分析结果进行切片资源配置，也即，主动感知网络、切片后，再来进行配置，切片资源基于网络环境的动态自适应，因此能根据网络性能状态，快速提供切片配置决策，同时匹配切片性能需求，提高切片sla保证率。

91、进一步的，将切片资源配置分为两个阶段：预配置以及重配置，该方案以降低在线学习(如强化学习)算法计算复杂度为目标，在切片资源预配置阶段，基于ai算法挖掘长期切片配置经验与无线环境和切片需求的对应关系来进行预配置；在切片资源重配置阶段，基于强化学习等在线学习方法，实现动态的切片资源配置。而强化学习是实现切片资源动态配置的优先手段，但其收敛速度受限。所以，切片资源的预配置旨在保障强化学习模型有效搜索最优解(满足模型的探索需求)的前提下，解决强化学习收敛速度慢的问题，实现动态的切片资源配置。

92、进一步的，由于还可以基于网络状态和切片性能感知的切片资源配置方案的输入，该输入值包含网络状态预测值、切片性能统计值、切片性能判决结果。上述三类数据的输入有利于切片资源配置模块对短期网络环境和切片性能变化的响应，同时匹配切片性能需求，以提高切片sla保证率；

93、进一步的，针对用户持续移动的场景，不能预知网络性能状态的问题，增加网络状态预测判断，从而实现了切片资源基于网络环境的动态自适应。