专利名称:基于遗传算法的动态云工作流调度方法
技术领域:
:本发明涉及云计算以及智能算法两大领域,主要涉及一种基于遗传算法的动态云工作流调度方法。
背景技术:
:云计算是近年来快速兴起的一类新型的计算模式,已成为了我国十二五期间的重要发展方向。云计算通过对大量计算资源的虚拟聚合和共享,实现按需向用户提供各种各样的计算服务,因此能够满足日益增长的大数据处理需求。为了进一步提高云计算系统对大数据的管理和处理能力,如何合理、高效地调度云计算的资源从而实现向用户弹性地提供计算服务是提高云计算系统性能的关键。在云计算环境中,由于云计算资源的数量庞大、云系统所承担的计算服务量也相当巨大,云网络的使用状态也时刻变化,因此动态时变性是云计算系统运作过程中所具有的重要特征。在应用云计算处理大数据计算任务时,一类常用的任务组织方式是工作流。工作流定义为一个完成复杂目标的特定的任务序列。通常地,工作流可以通过有向无环图(DAG)的形式给出,图的节点表示单个任务,而节点之间的有向边表示任务之间的优先约束关系。然而,在现有的工作流调度模型中,一个工作流的控制流拓扑结构是固定不变的,即是由单一的DAG给出。在实际应用中,云工作流的控制流结构可能还具有IF-THEN等选择分支,其控制流拓扑结构也具有动态时变的特性,如何能够在云工作流调度过程中考虑云环境和云工作流控制拓扑的动态时变特性,从而进一步提高云工作流调度系统在动态、时变环境中的可用性,对云工作流调度方法提出了新的挑战。随着优化技术的发展,如遗传算法等 新型的元启发式智能计算方法为复杂优化问题的求解提供了新的有效手段。遗传算法是模拟自然界生物的进化现象而提出的一种随机式优化方法,它自20世纪60年代提出以来引起了广泛的关注,并且已经被成功地应用于众多科学与工程领域的应用中。利用遗传算法所提高的全局优化能力,本发明提出了一种基于历史运行信息统计分析循环执行的云工作流的控制流拓扑结构及其发生概率,基于遗传算法优化动态时变环境中云工作流的平均期望性能的方法,从而有效地提高了动态时变环境下云工作流调度的效率
发明内容
:本发明提出了基于遗传算法的动态云工作流调度方法。该方法采用了一种基于历史统计信息的云工作流控制流拓扑结构描述模型。该模型的主要特征是:(I)采用一个有向无环图G = (V,A)对云工作流进行建模,节点的集合V = IT1,T2,…,TJ对应工作流中的任务,有向边的集合A表示任务之间的优先次序关系。(2)根据该工作流在执行过程中可能出现的各种控制流,可以将该图G分解为一系列的子图{Φ1; Φ2,...,Φ:^},其中Γ表示所有拓扑的总数,其中每一个子图也是一个有向无环图,对应该动态工作流可能出现的一种控制流拓扑结构。
(3)每种控制流拓扑结构Φ ^都对应着一个概率Pp表示动态工作流采取该种控制流拓扑结构执行的概率,这个概率是根据工作流在此前的500次历史执行记录信息中采取
该控制流拓扑结构的比例而统计得出的,
权利要求
1.一种基于遗传算法的动态云工作流调度方法,其特征在于,该方法采用了一种基于历史统计信息的云工作流控制流拓扑结构描述模型,该模型的主要特征是: (1)采用一个有向无环图G=(V,A)对云工作流进行建模,节点的集合V= IT1,T2,…,TJ对应工作流中的任务,有向边的集合A表示任务之间的优先次序关系; (2)根据该工作流在执行过程中可能出现的各种控制流,可以将该图G分解为一系列的子图{Φ1; Φ2,...,Φ:4,其中Γ表示所有拓扑的总数,其中每一个子图也是一个有向无环图,对应该动态工作流可能出现的一种控制流拓扑结构; (3)每种控制流拓扑结构Φ^都对应着一个概率Pp表示动态工作流采取该种控制流拓扑结构执行的概率,这个概率是根据工作流在此前的500次历史执行记录信息中采取该控制流拓扑结构的比例而统计得出的,有 /7, = 1;>=] (4)在模型中,工作流调度解是可行的,当且仅当调度解对所有工作流可能出现的控制流拓扑结构{Φρ Φ2,...,Φ:^},其执行时间都能够满足用户自定义的执行时间限制Deadline ; (5)该模型的优化目标是找到一组云工作流调度方式K,使得云工作流在动态环境下执行的费用耗费的期望值 I 最小化,其中Κ.(:(φρ是指调度K在控制流拓扑结构Φ]下所需的费用。
2.一种基于遗传算法的动态云工作流调度方法,其特征在于,该遗传算法的主要流程包括: (1)初始化算法的交叉率ρχ、变异率Pm和种群大小参数popsize,并生成第一代种群; (2)评价种群中每个个体的适应值; (3)采用竞争选择的方式,从上一代种群中选出popsize个个体; (4)对上述选出的每个个体,根据交叉概率ρχ进行单点交叉操作。
全文摘要
本发明公开了一种运用遗传算法优化动态云工作流的方法,算法的目标是最小化迭代执行的云工作流的每周期平均费用,并使得工作流每次在动态环境中执行一个周期的总执行时间不超过用户定义的最大执行期限。由于工作流在云计算的实现环境下执行方式是动态多变的,本发明提出的方法对工作流所有可能出现的流拓扑结果进行整体建模,从而综合考虑了云工作流的动态时变的特性,并采用遗传算法使得云工作流在动态环境中执行的平均性能得到优化,从而提高了云工作流的执行效率。
文档编号G06Q10/06GK103226759SQ20131017186
公开日2013年7月31日 申请日期2013年4月25日 优先权日2013年4月25日
发明者张军, 陈伟能, 尹亮 申请人:中山大学