基于平均强化学习和高斯过程回归的云作业接入控制方法
【专利摘要】本发明公开一种基于平均强化学习和高斯过程回归的云作业接入控制方法，并针对调度过程中存在的连续状态?动作空间而导致的最优策略生成过慢问题，采用高斯过程回归进行平均回报值和最优策略的逼近，大幅度减少了得到最优策略的学习迭代时间，提高了云资源的利用率。
【专利说明】
基于平均强化学习和高斯过程回归的云作业接入控制方法
技术领域
[0001]本发明涉及云作业调度领域，具体涉及一种基于平均强化学习和高斯过程回归的云作业接入控制方法。
【背景技术】
[0002]作业调度是工作流研究中的重要问题之一，也一直得到了学术界的深入研究和工业界的广泛实践。面向云计算环境的工作流的调度方法与传统工作流和网格工作流的调度方法存在着很大的区别。
[0003]由于云环境的复杂性和动态性，客观上要求能够进行自适应作业调度。而强化学习作为一种重要的机器学习方法，其在云计算环境中的应用得到了广泛关注，取得了一些重要成果。但在实际应用过程中，不可避免的会遇到连续状态-动作空间而产生的维数灾难问题，最终导致收敛速度慢，自适应性差，这些问题极大限制了强化学习在云计算领域中的应用。
【发明内容】
[0004]本发明的目的是解决现有技术的缺陷，提供一种能够大幅度减少得到最优策略的学习迭代时间，提高云资源的利用率的云作业接入控制方法，采用的技术方案如下:
[0005]—种基于平均强化学习和高斯过程回归的云作业接入控制方法，包括:
[0006]准备阶段:
[0007]定义状态空间:将云环境资源池中的虚拟机数量定义为平均强化学习的状态空间；
[0008]定义动作空间:动作空间中包括2个动作，分别为接受当前被调度作业和拒绝当前被调度作业；
[0009]定义回报函数:将用户愿意支付的费用定义为回报函数；
[0010]执行阶段:
[0011]第一步:初始化P和Q(s，a)，其中P表示平均回报，Q(s，a)为二维表格，行s为系统状态，列a为动作空间；
[0012]第二步:设置更新步长，执行迭代；
[0013]第三步:将变量i设置为O，将s设置为当前状态；
[0014]第四步:从动作空间a中选择动作；
[0015]第五步:执行选择的动作，得到当前状态的立即回报值r和下一个系统状态s’；
[0016]第六步:按式Q(s，a)—Q(s，a)+a*[r-p+maxa’Q(s，，a，)-Q(s，a)]更新Q(s，a)，其中，a’代表系统状态s’下的动作空间，ae(0，I)代表学习速率；
[0017]第七步:判断是否满足0(8，&)=!^^0(8，&)，若是则更新平均回报0然后转第八步，若否则直接转第八步；
[0018]第八步:令i = i+l;
[0019]第九步:若i小于更新步长，令s= s’，转至第二步，若i不小于更新步长，则转至第十步；
[0020]第十步:将Q(s，a)表格中的数据作为输入，使用高斯过程进行回归操作，得到回归结果；
[0021 ]第^^一步:使用第十步得到的回归结果修改Q( s，a)表格；
[0022]第十二步:将第七步得到的平均回报P作为输入，使用高斯过程进行回归操作，得到回归结果；
[0023]第十三步:使用第十二步得到的回归结果修改平均回报P;
[0024]第十四步:转至第二步。
[0025]将云环境资源池中的虚拟机数量定义为平均强化学习的状态空间，则本发明中每个决策时刻(云作业调度时刻)，下一个状态仅仅取决于当前状态，满足马尔科夫性。
[0026]本发明中动作空间中包括2个动作，分别为接受当前被调度作业和拒绝当前被调度作业，可用向量(0，I)进行表示，其中O表示拒绝，I表示接受。
[0027]云计算是一种按需付费的使用模式，云服务提供商获得的收益来自于用户支付的费用，愿意支付的费用决定了接受的服务的质量是不同的，因此本发明将用户作业的优先级(取决于用户愿意支付的费用)定义为回报函数，因此，本发明的优化目标为根据资源池中可用的虚拟机数量，接受或拒绝用户作业，以使得累计回报最大。
[0028]第一步至第九步的平均强化学习在实际的运行过程中，会由于云环境中数据中心的规模增大，导致状态空间产生维数灾难问题，本发明使用高斯过程回归加速最优策略的生成，当第九步的条件不满足，执行第十步及后面的步骤，使用高斯过程回归加速最优策略的生成。
[0029]作为优选，所述第四步中使用贪心策略从动作集合a中选择动作。
[°03°] 作为优选，所述第七步中，按照公式P—P+P*[r-p+maxa’Q(s’，a’)_maxaQ(s，a)]更新平均回报p，其中βε[0，1]为累积回报折扣因子。
[0031]作为优选，所述第十一步中，使用第十步得到的回归结果替换之前的值。
[0032]作为优选，所述第十三步中，使用第十二步得到的回归结果替换之前的平均回报
Po
[0033]与现有技术相比，本发明的有益效果:
[0034]本发明设计了一种基于平均强化学习的云作业调度方法，并针对调度过程中存在的连续状态-动作空间而导致的最优策略生成过慢问题，采用高斯过程回归进行平均回报值和最优策略的逼近，大幅度减少了得到最优策略的学习迭代时间，提高了云资源的利用率。
【附图说明】
[0035]图1是本发明的流程图；
[0036]图2是经过2000000步后，带高斯过程回归的平均强化学习得到的最优策略示意图；
[0037]图3是经过2000000步后，不带高斯过程回归的平均强化学习得到的最优策略示意图。
【具体实施方式】
[0038]如图1所示，一种基于平均强化学习和高斯过程回归的云作业接入控制方法，包括:
[0039]本发明的目的是解决现有技术的缺陷，提供一种能够大幅度减少得到最优策略的学习迭代时间，提高云资源的利用率的云作业接入控制方法，采用的技术方案如下:
[0040]一种基于平均强化学习和高斯过程回归的云作业接入控制方法，包括:
[0041 ] 准备阶段:
[0042]定义状态空间:将云环境资源池中的虚拟机数量定义为平均强化学习的状态空间；
[0043]定义动作空间:动作空间中包括2个动作，分别为接受当前被调度作业和拒绝当前被调度作业；
[0044]定义回报函数:将用户愿意支付的费用定义为回报函数；
[0045]执行阶段:
[0046]第一步:初始化P和Q(s，a)，其中P表示平均回报，Q(s，a)为二维表格，行s为系统状态，列a为动作空间；
[0047]第二步:设置更新步长，执行迭代；
[0048]第三步:将变量i设置为O，将s设置为当前状态；
[0049]第四步:从动作空间a中选择动作；
[0050]第五步:执行选择的动作，得到当前状态的立即回报值r和下一个系统状态s’；
[0051 ]第六步:按式Q(s，a)—Q(s，a)+a*[r-p+maxa，Q(s’，a’)-Q(s，a)]更新Q(s，a)，其中，a’代表系统状态s’下的动作空间，ae(0，I)代表学习速率；
[0052]第七步:判断是否满足0(8，&)=!^^0(8，&)，若是则更新平均回报0然后转第八步，若否则直接转第八步；
[0053]第八步:令i = i+l;
[0054]第九步:若i小于更新步长，令s= s’，转至第二步，若i不小于更新步长，则转至第十步；
[0055]第十步:将Q(s，a)表格中的数据作为输入，使用高斯过程进行回归操作，得到回归结果；
[0056]第^^一步:使用第十步得到的回归结果修改Q(s，a)表格；
[0057]第十二步:将第七步得到的平均回报P作为输入，使用高斯过程进行回归操作，得到回归结果；
[0058]第十三步:使用第十二步得到的回归结果修改平均回报P;
[0059]第十四步:转至第二步。
[0060]将云环境资源池中的虚拟机数量定义为平均强化学习的状态空间，则本发明中每个决策时刻(云作业调度时刻)，下一个状态仅仅取决于当前状态，满足马尔科夫性。
[0061]本发明中动作空间中包括2个动作，分别为接受当前被调度作业和拒绝当前被调度作业，可用向量(0，I)进行表示，其中O表示拒绝，I表示接受。
[0062]云计算是一种按需付费的使用模式，云服务提供商获得的收益来自于用户支付的费用，愿意支付的费用决定了接受的服务的质量是不同的，因此本发明将用户作业的优先级(取决于用户愿意支付的费用)定义为回报函数，因此，本发明的优化目标为根据资源池中可用的虚拟机数量，接受或拒绝用户作业，以使得累计回报最大。
[0063]第一步至第九步的平均强化学习在实际的运行过程中，会由于云环境中数据中心的规模增大，导致状态空间产生维数灾难问题，本发明使用高斯过程回归加速最优策略的生成，当第九步的条件不满足，执行第十步及后面的步骤，使用高斯过程回归加速最优策略的生成。
[0064]所述第四步中使用贪心策略从动作集合a中选择动作。
[0065]所述第七步中，按照公式P—P+0*[r-p+maxa，Q(s’，a’)_maxaQ(s，a)]更新平均回报P，其中βε[0，1]为累积回报折扣因子。
[0066]所述第十一步中，使用第十步得到的回归结果替换之前的值。
[0067]所述第十三步中，使用第十二步得到的回归结果替换之前的平均回报P。
[0068]如图2所示是经过2000000步后，带高斯过程回归的平均强化学习得到的最优策略示意图，图3所示是经过2000000步后，不带高斯过程回归的平均强化学习得到的最优策略示意图，通过对比可知，本实施例大幅度减少了得到最优策略的学习迭代时间，提高了云资源的利用率。
【主权项】
1.一种基于平均强化学习和高斯过程回归的云作业接入控制方法，其特征在于，包括: 准备阶段: 定义状态空间:将云环境资源池中的虚拟机数量定义为平均强化学习的状态空间；定义动作空间:动作空间中包括2个动作，分别为接受当前被调度作业和拒绝当前被调度作业； 定义回报函数:将用户愿意支付的费用定义为回报函数； 执行阶段: 第一步:初始化P和Q( S，a)，其中P表示平均回报，Q( s, a)为二维表格，行s为系统状态，列a为动作空间； 第二步:设置更新步长，执行迭代； 第三步:将变量i设置为O，将s设置为当前状态； 第四步:从动作空间a中选择动作； 第五步:执行选择的动作，得到当前状态的立即回报值r和下一个系统状态s ’ ； 第六步:按式Q(s，a)—Q(s，a)+a*[r-p+maxa，Q(s’，a’)-Q(s，a)]更新Q(s，a)，其中，a’代表系统状态s’下的动作空间，ae(0，I)代表学习速率； 第七步:判断是否满足(^3)=11^4(8，&)，若是则更新平均回报0然后转第八步，若否则直接转第八步； 第八步:令i = i+l; 第九步:若i小于更新步长，令s = s’，转至第二步，若i不小于更新步长，则转至第十步； 第十步:将Q(s，a)表格中的数据作为输入，使用高斯过程进行回归操作，得到回归结果; 第i^一步:使用第十步得到的回归结果修改Q (s，a)表格； 第十二步:将第七步得到的平均回报P作为输入，使用高斯过程进行回归操作，得到回归结果； 第十三步:使用第十二步得到的回归结果修改平均回报P; 第十四步:转至第二步。2.根据权利要求1所述的一种基于平均强化学习和高斯过程回归的云作业接入控制方法，其特征在于，所述第四步中使用贪心策略从动作集合a中选择动作。3.根据权利要求1所述的一种基于平均强化学习和高斯过程回归的云作业接入控制方法，其特征在于，所述第七步中，按照公式P—ρ+β* [r-p+maxa，Q(s ’，a ’)_maxaQ(s，a)]更新平均回报P，其中阳[0，1]为累积回报折扣因子。
【文档编号】H04L29/08GK105959353SQ201610261723
【公开日】2016年9月21日
【申请日】2016年4月22日
【发明人】崔得龙, 彭志平, 李启锐, 许波, 柯文德
【申请人】广东石油化工学院