面向资源利用率最大化的直播请求调度方法及装置与流程

本发明属于通信，具体涉及一种面向资源利用率最大化的直播请求调度方法及装置。

背景技术：

1、随着高速网络(如lte/5g)和先进个人设备的广泛普及，直播(如twitch和抖音)已经成为近年来最流行的应用之一。流媒体直播服务的激增导致了众包边缘云服务平台的兴起，后者被用于满足日益增长的用户需求。众包边缘云服务平台服务于各种直播应用，整合空闲异构的计算和带宽资源。由于其独特的众包特性，边缘云平台可以以较低的成本扩大服务器覆盖范围，同时通过更近距离的服务最终提高用户的体验质量。在边缘云平台下，如何充分利用计算资源，在有限的资源上面尽可能提供更多的服务能力，是边缘云平台服务的核心能力之一。一个好的请求调度方法，既要实现对资源的充分利用，实现平台全局资源利用率的最大化，又要考虑局部服务器的约束，避免少数服务器资源利用率过低或过高等极端个例情况的发生。

2、目前工业界最为流行的直播请求调度方法都基于地理最近调度，此类方法过于简单，无法解决边缘云平台设备异构复杂、业务多变的实际场景，而且无法从全局和局部优化平台和服务器的资源利用率，具体来说主要存在以下问题：1、只考虑最大化全局资源利用率，优化目标相对单一，请求的调度效果需要多维度的衡量，不能只考虑全局服务器的资源利用率，也要考虑现实中影响收益的因素；2、能够面向的场景相对单一，边缘云设备资源极其异构，直播请求在边缘云设备上的部署效果(如带宽跑量等)表现受到服务器本身属性，部署地域、业务特征等各种复杂因素的影响；3、无法提前估算请求服务后的效果，进而难以直接通过请求调度优化平台资源利用率；4、主要基于所请求业务的历史表现进行调度，具有滞后性；5、没有考虑到局部服务器在真实场景下所受到的约束，以及边缘云异构的设备属性和复杂的请求特征对请求调度的影响。

技术实现思路

1、针对以上问题，本发明提出了一种面向资源利用率最大化的直播请求调度方法及装置，能通过优化直播请求实时调度决策，最大化边缘云平台的整体资源利用率，并尽可能减少局部服务器出现极端资源利用率的情况，不仅能应用到边缘云场景，而且能复用到中心云、idc、cdn、终端设备等多个场景进行优化用户请求调度。为解决以上技术问题，本发明所采用的技术方案如下：

2、一种面向资源利用率最大化的直播请求调度方法，包括如下步骤：

3、s1，收集边缘云平台下所有边缘服务器的历史负载数据和对应的直播请求数据，根据历史负载数据确定边缘云平台的最优资源利用率区间；

4、s2，基于步骤s1的直播请求数据利用有监督的聚类方法构建聚类模型，基于聚类模型确认每个直播请求的所属聚类；

5、s3，根据步骤s2得到的直播请求的所属聚类及步骤s1收集的数据基于xgboost方法构建用于预测边缘服务器收益的请求调度效果预测模型；

6、s4，基于边缘云平台资源利用率最大化和步骤s1得到的最优资源利用率区间构建优化目标函数；

7、s5，将请求调度策略ps简化为请求服务策略基于请求服务策略更新优化目标函数，且式中，表示边缘服务器e服务于区域m的第n类直播请求的个数，表示边缘服务器e服务于第n类直播请求的个数，k为聚类模型所对应的最佳聚类数，e表示边缘云平台下边缘服务器的总数，m表示所有直播请求所属终端的归属区域的总数；

8、s6，收集边缘云平台下的实时直播请求，利用步骤s2的聚类模型获取实时直播请求所对应的聚类，利用步骤s3的请求调度效果预测模型预测实时直播请求调度时边缘服务器得到的收益，利用分支定界算法对更新后的优化目标函数进行求解得到请求服务策略基于请求服务策略求解请求调度策略ps。

9、所述步骤s1包括如下步骤：

10、s1.1，收集边缘云平台下所有边缘服务器的历史负载数据和每个服务器所接收到的直播请求数据；

11、s1.2，根据历史负载数据计算每个边缘服务器的资源利用率；

12、s1.3，根据步骤s1.2得到的资源利用率获取累积分布函数；

13、s1.4，利用累积分布函数计算组成最优资源利用率区间的最低利用率阈值和利用率上限阈值。

14、所述累积分布函数的表达式为：

15、

16、式中，f(x)表示随机变量x的累积分布函数，|x|表示边缘云平台下所有带宽利用率的样本总数，x表示边缘云平台下所有边缘服务器的带宽利用率的集合，表示边缘服务器e在t时刻的带宽利用率。

17、所述步骤s2包括如下步骤：

18、s2.1，根据带宽消耗量识别直播请求中影响请求服务效果的关键特征，所述关键特征包括请求内容归属类别、请求平台和请求时刻；

19、s2.2，对每个直播请求的关键特征进行预处理得到请求量化样本；

20、s2.3，初始化聚类数量k＝1，并设置最大聚类数

21、s2.4，利用k-prototype聚类算法对步骤s2.2中的请求量化样本进行聚类，输出最终聚类中心和每个请求量化样本的聚类；

22、s2.5，判断若是，执行k＝k+1并返回步骤s2.4，否则基于轮廓系数和戴维森堡丁指数对步骤s2.4输出的最终聚类中心进行评价，确定最佳聚类数，输出最佳聚类数所对应的聚类模型和每个请求量化样本的所属聚类。

23、在步骤s3中，所述请求调度效果预测模型的表达式为：

24、ae,m,n＝xgboost(n,m,e,be,le)；

25、式中，ae,m,n表示将来自区域m的第n类直播请求部署到边缘服务器e上的收益，le表示边缘服务器e的位置，且1≤n≤k，be表示边缘服务器e的总带宽。

26、在步骤s5中，更新后的优化目标函数的表达式为：

27、

28、

29、

30、

31、式中，α和β分别表达组成最优资源利用率区间的最低利用率阈值和利用率上限阈值，表示边缘服务器e处理第n类直播请求时的平均收益，be表示边缘服务器e的总带宽，表示来自于区域m的第n类直播请求的总数。

32、在步骤s6中，基于请求服务策略求解请求调度策略ps的计算公式为：

33、

34、式中，表示边缘云平台下所有边缘服务器所接收的直播请求的总数。

35、一种面向资源利用率最大化的直播请求调度装置，包括：

36、数据收集模块：用于收集边缘云平台下所有边缘服务器的历史负载数据和对应的直播请求数据；

37、聚类输出模块：用于基于数据收集模块得到的直播请求数据利用有监督的聚类方法构建聚类模型，并基于聚类模型确认每个直播请求的所属聚类；

38、调度模型构建模块：用于基于聚类输出模块得到的每个直播请求的所属聚类和数据收集模块得到的数据基于xgboost方法构建请求调度效果预测模型；

39、目标函数建立模块：用于基于数据收集模块得到的历史负载数据确定边缘云平台的最优资源利用率区间，并基于边缘云平台资源利用率最大化和最优资源利用率区间构建优化目标函数；

40、优化函数更新模块：用于将请求调度策略ps简化为请求服务策略并基于请求服务策略对目标函数建立模块输出的优化目标函数进行更新，且式中，表示边缘服务器e服务于区域m的第n类直播请求的个数，表示边缘服务器e服务于第n类直播请求的个数，k为聚类模型所对应的最佳聚类数，e表示边缘云平台下边缘服务器的总数，m表示所有直播请求所属终端的归属区域的总数；

41、调度策略输出模块：用于收集边缘云平台下的实时直播请求，基于聚类输出模块得到的聚类模型确认实时直播请求所对应的聚类，基于调度模型构建模块的请求调度效果预测模型预测实时直播请求调度时边缘服务器得到的收益，再基于实时直播请求所对应的聚类和实时直播请求调度时边缘服务器得到的收益利用分支定界算法对更新后的优化目标函数进行求解获取请求服务策略，基于请求服务策略输出请求调度策略。

42、本发明的有益效果：

43、1、本技术针对边缘云服务器的带宽利用率分布，提出了带宽利用率最优区间的建模方法，能综合考虑带宽利用率与平台现实收益之间的影响关系；

44、2、对边缘云平台的资源异构性、请求的时空特性、业务特性充分挖掘，提出了识别影响请求调度部署效果的关键特征，并通过k-prototype聚类方法将聚类融合请求特性，设计了基于直播请求的类别和服务器属性的请求调度效果预测模型，进而成功预测请求调度后效果。

45、3、通过将请求调度建模为带有双重约束的线性规划问题，同时优化边缘云平台全局的带宽利用率和局部服务器的带宽利用率分布，解决了优化目标单一的问题。最终通过简化策略和分支定界算法对线性规划问题进行求解实现对直播请求的实时调度，实现了全局资源利用率最优化，减少了局部服务器异常。