一种云计算环境中GPU资源调度系统的制作方法

一种云计算环境中gpu资源调度系统
技术领域
1.本发明涉及云计算的技术领域，具体来说，涉及一种云计算环境中gpu资源调度系统。


背景技术：

2.云计算指it基础设施的交付和使用模式，指通过网络以按需、易扩展的方式获得所需资源；广义云计算指服务的交付和使用模式，指通过网络以按需、易扩展的方式获得所需服务。这种服务可以是it和软件、互联网相关，也可是其他服务。云计算是网格计算、分布式计算、并行计算、效用计算、网络存储、虚拟化、负载均衡等传统计算机和网络技术发展融合的产物。
3.但是现有的云计算系统在特定的时刻，一个计算节点最多只能为单个调用任务提供服务，为使单个计算节点可以满足调用任务的需求，使得云计算系统对单个计算节点的硬件要求非常高。
4.针对相关技术中的问题，目前尚未提出有效的解决方案。


技术实现要素：

5.针对相关技术中的上述技术问题，本发明提出一种云计算环境中gpu资源调度系统，可解决上述现有技术中的不足。
6.为实现上述技术目的，本发明的技术方案是这样实现的：
7.一种云计算环境中gpu资源调度系统，包括：
8.任务导入模块，用于将应用程序发出的调用任务导入到微环境中；
9.任务分析模块，用于分析所述调用任务，并根据所述调用任务需要调用的gpu资源的多少发出gpu调用请求；
10.资源打分模块，用于以显存利用率、gpu利用率、gpu功耗三项作为变量对可用gpu资源进行打分；
11.资源排序模块，用于根据分数高低对所述可用gpu资源进行排序；
12.资源重定向模块，用于对directx接口进行重定向，以使所述微环境根据所述gpu调用请求在多个计算节点的多个gpu设备间选择出分数高且分数差值最小的相应数量的所述可用gpu资源分配给所述应用程序。
13.进一步地，所述任务导入模块包括多个程序接口，用于与应用程序进行通信，以获取所述调用任务。
14.进一步地，还包括gpu调用模块，用于与硬件设备进行通信，以供所述微环境调用所述gpu设备。
15.进一步地，所述显存利用率的计算公式为sm＝(tm
‑
um)*vm/tm，其中，sm为显存利用率，tm为显存总量，um为已用显存量，vm为相关影响因子的阈值；所述gpu利用率的计算公式为su＝(1
‑
ugpu)*10，其中，su为gpu利用率，ugpu表示显卡利用率；所述gpu功耗的计分公
式为sp＝(tp
‑
up)*vp/tp，其中，sp为gpu功耗，tp为最大功率，up为已用功率，vp为相关影响因子的阈值；对所述可用gpu资源进行打分的计算公式为sg_i＝xsm+ysu+zsp，其中i为可用gpu资源的编号。
16.进一步地，所述资源打分模块还用于在所述gpu功耗和/或所述显存利用率达到设定的低值时，将对应的所述gpu资源作为不可用gpu资源。
17.进一步地，在s6中，还包括记录模块，用于记录对当前所述应用程序进行所述可用gpu资源分配的情况。
18.进一步地，还包含监视模块，用于实时监视所有所述gpu设备的工作状态，以获取所述显存利用率、所述gpu利用率以及所述gpu功耗。
19.进一步地，所述资源重定向模块还用于在所述可用gpu资源不足时，将所述调用任务挂起等待调度。
20.本发明的有益效果：通过微环境可以在多个计算节点的多个gpu设备间为某个特定的应用程序分配合适的gpu资源，实现了gpu资源的有效利用，降低了对单个计算节点的硬件要求，同时，通过给各个可用gpu资源进行打分的方式来进行gpu设备的选择，既了解决gpu资源人工静态指配的不便，也能提高gpu设备的资源利用率。
附图说明
21.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
22.图1是根据本发明实施例所述的云计算环境中gpu资源调度系统的示意图。
具体实施方式
23.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
24.如图1所示，根据本发明实施例所述的一种云计算环境中gpu资源调度系统，包括：
25.任务导入模块，用于将应用程序发出的调用任务导入到微环境中；
26.任务分析模块，用于分析所述调用任务，并根据所述调用任务需要调用的gpu资源的多少发出gpu调用请求；
27.资源打分模块，用于以显存利用率、gpu利用率、gpu功耗三项作为变量对可用gpu资源进行打分；
28.资源排序模块，用于根据分数高低对所述可用gpu资源进行排序；
29.资源重定向模块，用于对directx接口进行重定向，以使所述微环境根据所述gpu调用请求在多个计算节点的多个gpu设备间选择出分数高且分数差值最小的相应数量的所述可用gpu资源分配给所述应用程序。
30.在本发明的一个具体实施例中，所述任务导入模块包括多个程序接口，用于与应
用程序进行通信，以获取所述调用任务。
31.在本发明的一个具体实施例中，还包括gpu调用模块，用于与硬件设备进行通信，以供所述微环境调用所述gpu设备。
32.在本发明的一个具体实施例中，所述显存利用率的计算公式为sm＝(tm
‑
um)*vm/tm，其中，sm为显存利用率，tm为显存总量，um为已用显存量，vm为相关影响因子的阈值；所述gpu利用率的计算公式为su＝(1
‑
ugpu)*10，其中，su为gpu利用率，ugpu表示显卡利用率；所述gpu功耗的计分公式为sp＝(tp
‑
up)*vp/tp，其中，sp为gpu功耗，tp为最大功率，up为已用功率，vp为相关影响因子的阈值；对所述可用gpu资源进行打分的计算公式为sg_i＝xsm+ysu+zsp，其中i为可用gpu资源的编号。
33.在本发明的一个具体实施例中，所述资源打分模块还用于在所述gpu功耗和/或所述显存利用率达到设定的低值时，将对应的所述gpu资源作为不可用gpu资源。
34.在本发明的一个具体实施例中，在s6中，还包括记录模块，用于记录对当前所述应用程序进行所述可用gpu资源分配的情况。
35.在本发明的一个具体实施例中，还包含监视模块，用于实时监视所有所述gpu设备的工作状态，以获取所述显存利用率、所述gpu利用率以及所述gpu功耗。
36.在本发明的一个具体实施例中，所述资源重定向模块还用于在所述可用gpu资源不足时，将所述调用任务挂起等待调度。
37.为了方便理解本发明的上述技术方案，以下通过具体使用方式对本发明的上述技术方案进行详细说明。
38.终端设备首先访问云计算系统的前端，通过验证后取得连接安全网关内某一服务节点的权限；设备随后使用这一权限和云计算系统内特定的计算节点连接。本发明通过一个特定的由硬件、软件或其结合来实现的平台或环境(下面简称“微环境”)来实现上述功能。
39.微环境的实现在操作系统层次，介于应用程序与系统api或者网络之间，可将其扩展地理解为能够由硬件、软件来实现的一个功能结构体，或者一个处理单元。
40.微环境中设置有任务导入模块、任务分析模块、资源打分模块、资源排序模块和资源重定向模块等
41.任务导入模块用于将应用程序发出的调用任务导入到微环境中，然后微环境分析出该调用任务要调用的gpu资源的多少，然后对directx接口进行重定向，从多个计算节点的多个gpu设备间选择合适的可用gpu资源分配给应用程序。具体步骤如下：
42.s1微环境接收到应用程序发出的调用任务，并分析调用任务，确定出的调用任务需要调用的gpu资源多少后生成gpu调用请求；
43.s2微环境实时监视多个计算节点的所有gpu设备的工作状态，然后以显存利用率，gpu利用率、gpu功耗三项作为变量对可用gpu资源进行打分，并在gpu功耗和/或显存利用率达到设定的低值时，将对应的gpu资源作为不可用gpu资源，不可用gpu资源不参与分配，可防止对gpu设备造成损伤；
44.显存利用率的计算公式为sm＝(tm
‑
um)*vm/tm
45.gpu利用率的计算公式为su＝(1
‑
ugpu)*10
46.gpu功耗的计算公式为：sp＝(tp
‑
up)*vp/tp
47.其中，tm表示显存总量，um表示已用显存量；ugpu表示显卡利用率；tp、up分别表示最大功率、已用功率；vm、vp分别表示相关影响因子的阈值；
48.对所述可用gpu资源进行打分的计算公式为sg_i＝xsm+ysu+zsp；
49.s3按照分数对所有的可用gpu资源进行排序，选择出分数高且分数差值最小的相应数量的可用gpu资源分配给应用程序，这些数量的可用gpu资源的总和应满足gpu调用请求；
50.s4当出现可用gpu资源不足，无法满足gpu调用请求的时候，将调用任务挂起等待调度，并发出相应的报警提示。
51.综上所述，借助于本发明的上述技术方案，通过微环境可以在多个计算节点的多个gpu设备间为某个特定的应用程序分配合适的gpu资源，实现了gpu资源的有效利用，降低了对单个计算节点的硬件要求，同时，通过给各个可用gpu资源进行打分的方式来进行gpu设备的选择，既了解决gpu资源人工静态指配的不便，也能提高gpu设备的资源利用率。
52.以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等向替换、改进等，均应包含在本发明的保护范围之内。