一种主机调度方法、系统、设备及计算机可读存储介质与流程

文档序号:33626103发布日期:2023-03-28 20:53阅读:37来源:国知局
一种主机调度方法、系统、设备及计算机可读存储介质与流程

1.本技术涉及云平台技术领域,更具体地说,涉及一种主机调度方法、系统、设备及计算机可读存储介质。


背景技术:

2.随着云计算技术的不断发展与普及,overlay网络(覆盖网络)在云平台中的地位越来越重要,这主要得益于这种sdn(software defined network,软件定义网络)网络在物理网络之上抽象出了多个独立的、离散的虚拟网络层,实现了覆盖网络中所有节点都通过逻辑或虚拟链路相互连接,极大的摆脱了物理网络的种种限制。其中,overlay

在网络技术领域,指的是一种网络架构上叠加的虚拟化技术模式,其大体框架是对基础网络不进行大规模修改的条件下,实现应用在网络上的承载,并能与其它网络业务分离,并且以基于ip(internet

protocol,网际互联协议)的基础网络技术为主;overlay网络为与物理网络通信提供的l2gatway(二层网关)功能具有重要的实际应用价值。l2gatway通过绑定在数据中心下的某一主机,将使用该网络的所有端口的流量通过l2gatway所在主机连接外部网络,实现虚拟网络和外部物理网络的通信。
3.当前选择部署l2gatway的主机的方式有指定主机或者随机选择,在业务量小的情况下尚可满足部署l2gatway的需求。但若遇到大型数据中心以及业务流量高峰期时,若选择主机本身网络负载高,这两种方式可能会造成业务中断以及网络丢包的现象,不能保证业务稳定不间断的运行。
4.综上所述,如何保证l2gatway的业务稳定性是目前本领域技术人员亟待解决的问题。


技术实现要素:

5.本技术的目的是提供一种主机调度方法,其能在一定程度上解决如何保证l2gatway的业务稳定性的技术问题。本技术还提供了一种主机调度系统、设备及计算机可读存储介质。
6.为了实现上述目的,本技术提供如下技术方案:一种主机调度方法,包括:获取目标云平台的目标调度数据集,所述目标调度数据集包括所述目标云平台的拓扑数据及部署有overlay网络的各个主机的网卡流量数据;将所述目标调度数据集输入预先训练的目标神经网络模型,所述目标神经网络模型包括lstm模型;获取所述目标神经网络模型预测的各个所述主机的网卡在未来时间内的目标性能数据;基于所述目标性能数据,在所述主机中选取满足l2gateway性能需求的目标主机;在所述目标主机上部署所述l2gateway,以使所述主机基于所述l2gateway与外部
网卡进行通信。
7.优选的,所述将所述目标调度数据集输入预先训练的目标神经网络模型之前,还包括:获取所述目标云平台在预设时间内的训练调度数据集;对所述训练调度数据集进行分类,得到固定数据集和过渡数据集,所述固定数据集包括l2gateway主机固定不变时的所述网卡流量数据和所述拓扑数据,所述过渡数据集包括l2gateway主机变动时的所述网卡流量数据和所述拓扑数据;将所述固定数据集和所述过渡数据集分类为训练集和测试集;基于所述训练集对搭建的不同参数的初始神经网络模型进行训练,所述参数包括batch_size、激活函数、神经网络层数、梯度下降算法、优化算法、学习率中的一个或多个;基于所述测试集对所述初始神经网络模型进行性能测试,并选取性能最优的所述初始神经网络模型作为所述目标神经网络模型。
8.优选的,所述基于所述训练集对搭建的不同参数的初始神经网络模型进行训练,包括:对所述训练集进行处理,得到目标训练集;基于所述目标训练集对搭建的不同参数的所述初始神经网络模型进行训练。
9.优选的,所述基于所述测试集对所述初始神经网络模型进行性能测试,包括:对所述测试集进行处理,得到目标测试集;基于所述目标测试集对所述初始神经网络模型进行性能测试。
10.优选的,所述将所述目标调度数据集输入预先训练的目标神经网络模型,包括:对所述目标调度数据集进行处理,得到目标输入数据;将所述目标输入数据输入预先训练的所述目标神经网络模型。
11.优选的,所述对所述目标调度数据集进行处理,得到目标输入数据,包括:对所述目标调度数据集进行小波变换及滤波,得到所述目标输入数据。
12.优选的,所述获取所述目标神经网络模型预测的各个所述主机的网卡在未来时间内的目标性能数据,包括:获取所述目标神经网络模型预测的各个所述主机的网卡在未来时间内开启所述l2gateway后的传输速度。
13.优选的,所述基于所述目标性能数据,在所述主机中选取满足l2gateway性能需求的目标主机,包括:基于所述主机的网卡的所述传输速度,确定所述主机的网卡的负载率;基于所述主机的网卡的负载率在所述主机中选取满足所述l2gateway性能需求的所述目标主机。
14.优选的,所述基于所述主机的网卡的负载率在所述主机中选取满足所述l2gateway性能需求的所述目标主机,包括:获取所述目标云平台在当前运行环境下部署所述l2gateway的预设负载率阈值;获取所述目标云平台中部署所述l2gateway的各个源主机的网卡负载率值;按照所述预设负载率阈值及所述网卡负载率值,基于所述主机的网卡的负载率在所述主机中选取满足所述预设负载率阈值的所述目标主机。
15.优选的,所述按照所述预设负载率阈值及所述网卡负载率值,基于所述主机的网卡的负载率在所述主机中选取满足所述预设负载率阈值的所述目标主机,包括:若所述网卡负载率值大于所述预设负载率阈值的第一边界值,且小于所述预设负载率阈值的第二边界值,则定时基于所述主机的网卡的负载率在所述主机中选取满足所述预设负载率阈值的所述目标主机。
16.优选的,所述定时基于所述主机的网卡的负载率在所述主机中选取满足所述预设负载率阈值的所述目标主机之后,还包括:若所述目标主机与所述源主机的负载率差值在预设范围内,则将所述源主机作为所述目标主机。
17.优选的,所述按照所述预设负载率阈值及所述网卡负载率值,基于所述主机的网卡的负载率在所述主机中选取满足所述预设负载率阈值的所述目标主机,包括:若所述网卡负载率值大于等于所述负载率阈值的第三边界值,则发出告警日志;接收与所述告警日志对应的用户指令;基于所述用户指令在所述主机中选取满足所述预设负载率阈值的所述目标主机。
18.优选的,所述在所述目标主机上部署l2gateway,包括:判断所述目标主机是否异常;若所述目标主机正常,则在所述目标主机上部署所述l2gateway;若所述目标主机异常,则删除所述目标主机及对应的所述目标性能数据,返回执行所述基于所述目标性能数据,在所述主机中选取满足l2gateway性能需求的目标主机的步骤。
19.一种主机调度系统,包括:第一获取模块,用于获取目标云平台的目标调度数据集,所述目标调度数据集包括所述目标云平台的拓扑数据及部署有overlay网络的各个主机的网卡流量数据;第一输入模块,用于将所述目标调度数据集输入预先训练的目标神经网络模型,所述目标神经网络模型包括lstm模型;第二获取模块,用于获取所述目标神经网络模型预测的各个所述主机的网卡在未来时间内的目标性能数据;第一选取模块,用于基于所述目标性能数据,在所述主机中选取满足l2gateway性能需求的目标主机;第一部署模块,用于在所述目标主机上部署所述l2gateway,以使所述主机基于所述l2gateway与外部网络进行通信。
20.一种主机调度设备,包括:存储器,用于存储计算机程序;处理器,用于执行所述计算机程序时实现如上任一所述主机调度方法的步骤。
21.一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,所述计算机程序被处理器执行时实现如上任一所述主机调度方法的步骤。
22.本技术提供的一种主机调度方法,获取目标云平台的目标调度数据集,目标调度数据集包括所述目标云平台的拓扑数据及部署有overlay网络的各个主机的网卡流量数据;将目标调度数据集输入预先训练的目标神经网络模型,且目标神经网络模型包括lstm
模型;获取目标神经网络模型预测的各个主机的网卡在未来时间内的目标性能数据;基于目标性能数据,在主机中选取满足l2gateway性能需求的目标主机;在目标主机上部署l2gateway,以使主机基于l2gateway与外部网卡进行通信。本技术中,可以通过目标神经网络模型来基于目标调度数据集预测各个部署有overlay网络的主机的网卡在未来时间内的目标性能数据,且基于目标性能数据在主机中选取满足l2gateway性能需求的目标主机,最后在目标主机上部署l2gateway,使得目标主机能够满足l2gateway性能需求,保证l2gatway的业务稳定性。本技术提供的一种主机调度系统、设备及计算机可读存储介质也解决了相应技术问题。
附图说明
23.为了更清楚地说明本技术实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本技术的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
24.图1为本技术实施例提供的一种主机调度方法的第一流程图;图2为overlay网络与l2gateway的部署示意图;图3为本技术实施例提供的一种主机调度方法的第二流程图;图4为目标神经网络模型的训练示意图;图5为本技术实施例提供的一种主机调度方法的第三流程图;图6为本技术实施例提供的一种主机调度方法的第四流程图;图7为本技术实施例提供的一种主机调度系统的结构示意图;图8为本技术实施例提供的一种主机调度设备的结构示意图;图9为本技术实施例提供的一种主机调度设备的另一结构示意图。
具体实施方式
25.下面将结合本技术实施例中的附图,对本技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本技术一部分实施例,而不是全部的实施例。基于本技术中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本技术保护的范围。
26.随着云计算技术的不断发展与普及,overlay网络在云平台中的地位越来越重要,这主要得益于这种sdn(software defined network,软件定义网络)网络在物理网络之上抽象出了多个独立的、离散的虚拟网络层,实现了覆盖网络中所有节点都通过逻辑或虚拟链路相互连接,极大的摆脱了物理网络的种种限制。其中,overlay

在网络技术领域,指的是一种网络架构上叠加的虚拟化技术模式,其大体框架是对基础网络不进行大规模修改的条件下,实现应用在网络上的承载,并能与其它网络业务分离,并且以基于ip(internet

protocol,网际互联协议)的基础网络技术为主;overlay网络为与物理网络通信提供的l2gatway(二层网关)功能具有重要的实际应用价值。l2gatway通过绑定在数据中心下的某一主机,将使用该网络的所有端口的流量通过l2gatway所在主机连接外部网络,实现虚拟网络和外部物理网络的通信。
27.当前选择部署l2gatway的主机的方式有指定主机或者随机选择,在业务量小的情况下尚可满足部署l2gatway的需求。但若遇到大型数据中心以及业务流量高峰期时,若选择主机本身网络负载高,这两种方式可能会造成业务中断以及网络丢包的现象,不能保证业务稳定不间断的运行。而本技术提供的主机调度方案可以保证l2gatway的业务稳定性。
28.请参阅图1,图1为本技术实施例提供的一种主机调度方法的第一流程图。
29.本技术实施例提供的一种主机调度方法,可以包括以下步骤:步骤s101:获取目标云平台的目标调度数据集,目标调度数据集包括目标云平台的拓扑数据及部署有覆盖网络的各个主机的网卡流量数据。
30.实际应用中,可以先获取目标云平台的目标调度数据集,且目标调度数据集可以包括所述目标云平台的拓扑数据及部署有overlay网络的各个主机的网卡流量数据,主机的数量及拓扑数据、网卡流量数据的类型等均可以根据实际需要确定。当然,在具体应用场景中,一般而言,目标云平台中的各个主机均可以部署l2gateway,但考虑到某些情况下用户的特殊设定,也可以只获取目标云平台中各个可以部署l2gateway的主机的历史性能数据等,本技术在此不做具体限定。
31.具体应用场景中,在获取目标云平台的目标调度数据集的过程中,考虑到云平台中的各个主机间通过overlay网络交互,且l2gatway一般与overlay网络相互配合发挥作用,所以可以获取目标云平台中部署有overlay网络的各个主机的网卡流量数据。
32.具体应用场景中,目标云平台的拓扑数据是指影响网卡传输速率的云平台配置数据,其随着业务的需求会动态的变化,以端口为例,一般来说端口数量越多,并发访问量越大、网卡传输速率越高、负载越高,但拓扑中不同种类的端口对网卡的使用率影响并不相同,其并非简单的线性关系,具体的,拓扑数据可以包括:集群中服务器的数量、sdn(software defined network,软件定义网络)下虚拟机(容器)使用的逻辑端口数量、路由器逻辑端口数量、l2gateway逻辑端口数量。此外,可以通过linux中sar、ping命令,收集每张网卡上不同时间段内的收发包个数、收发数据量、丢包个数、以及网络时延来得到主机的网卡流量数据,比如网卡流量数据可以包括不同状态下单位时间内流经网卡的流量数据,且不同状态是指主机l2gateway未开启、开启以及过渡阶段(从开启到未开启、或者从未开启到开启),需要说明的是,主机的网卡有不同的种类,比如有内部网卡,主要负责云平台集群下各个主机之间访问所需;有外部网卡,用于服务器或服务器内虚拟机(容器)与外部通信使用,其中内部网卡的传输速率对外部网卡(绑定l2gateway的外部网卡)也有影响,非l2gateway所在主机上的端口访问外部网络先经过内部网卡到l2gateway所在主机,所以内部网卡也承载了这些主机间的流量,所以需采集内部网卡及外部网卡的相应流量数据。需要说明的是,在一些场景下,还可以采集主机的配置信息来作为目标调度数据集,比如采集主机的节点数量、网卡协商速率、

是否开启l2gateway等来作为主机的配置信息等,本技术在此不做具体限定。
33.步骤s102:将目标调度数据集输入预先训练的目标神经网络模型,目标神经网络模型包括长短期记忆网络模型。
34.步骤s103:获取所述目标神经网络模型预测的各个主机的网卡在未来时间内的目标性能数据。
35.实际应用中,在获取目标云平台中各个主机的历史性能数据之后,便可以将目标
调度数据集输入预先训练的目标神经网络模型,且目标神经网络模型包括lstm(long

short-term

memory,长短期记忆网络)模型,也即可以将目标调度数据输入预先训练的lstm模型,并获取lstm模型预测的各个主机的网卡在未来时间内的目标性能数据,以借助lstm模型来对各个主机的网卡在未来时间内的目标性能数据进行预测。
36.需要说明的是,lstm是一种特殊的rnn(recurrent

neural

network),常用于时间序列预测问题,相比普通的rnn,lstm能够在更长的序列中有更好的表现。
37.步骤s104:基于目标性能数据,在主机中选取满足二层网关性能需求的目标主机。
38.步骤s105:在目标主机上部署二层网关,以使主机基于二层网关与外部网卡进行通信。
39.实际应用中,在获取目标神经网络模型预测的各个主机的网卡在未来时间内的目标性能数据之后,便可以基于目标性能数据,在主机中选取满足l2gateway性能需求的目标主机,最后再在目标主机上部署l2gateway,以使主机能够基于l2gateway与外部网卡进行通信,即使得目标主机能够保证l2gateway的稳定运行,又可以实现目标云平台与外部的通信。
40.需要说明的是,请参阅图2,l2gateway与overlay间的工作方式可以如下:云平台的数据中心中存在多个主机,每个主机中都存在若干虚拟机,虚拟机若通过overlay网络实现与外部通信,需要经过l2gateway绑定的外部网络的网卡,将流量引出宿主机。因为一个overlay网络的l2gateway只会存在于数据中某一台主机,所以数据中心下所有该overlay网络下的虚拟机与外部通信,都需要先经过特定的一台主机,通过该主机上的l2gateway绑定的网卡进行流量转发。比如当主机1上的虚拟机vm1-1与主机2上的vm2-1(vm2-2)进行通信时,报文的转发路径为经过主机1上的overlay网络到网卡1,再经网卡1走内部网络到网卡3,然后经由overlay再到虚拟机

vm2-1(vm2-2),实现跨主机通信。这种通信方式只能在内网中进行,不能实现虚拟机访问外网。所以当主机1上的虚拟机vm1-1访问外部网络时,报文的转发路径为:经过overlay网络走l2gateway,再由l2gateway到连接外部网络的网卡2,实现访问外部网络。当主机2上的虚拟机vm2-1访问外部网络时,报文的转发路径为:经过overlay网络走网卡3,再由网卡1到主机1的overlay网络,再由overlay网络到l2gateway绑定的网卡2,实现访问外部网络。
41.本技术提供的一种主机调度方法,获取目标云平台的目标调度数据集,目标调度数据集包括所述目标云平台的拓扑数据及部署有overlay网络的各个主机的网卡流量数据;将目标调度数据集输入预先训练的目标神经网络模型,且目标神经网络模型包括lstm模型;获取目标神经网络模型预测的各个主机的网卡在未来时间内的目标性能数据;基于目标性能数据,在主机中选取满足l2gateway性能需求的目标主机;在目标主机上部署l2gateway,以使主机基于l2gateway与外部网卡进行通信。本技术中,可以通过目标神经网络模型来基于目标调度数据集预测各个部署有overlay网络的主机的网卡在未来时间内的目标性能数据,且基于目标性能数据在主机中选取满足l2gateway性能需求的目标主机,最后在目标主机上部署l2gateway,使得目标主机能够满足l2gateway性能需求,保证l2gatway的业务稳定性。
42.请参阅图3,图3为本技术实施例提供的一种主机调度方法的第二流程图。
43.本技术实施例提供的一种主机调度方法,可以包括以下步骤:
步骤s201:获取目标云平台的目标调度数据集,目标调度数据集包括目标云平台的拓扑数据及部署有覆盖网络的各个主机的网卡流量数据。
44.步骤s202:对目标调度数据集进行处理,得到目标输入数据。
45.步骤s203:将目标输入数据输入预先训练的目标神经网络模型,目标神经网络模型包括长短期记忆网络模型。
46.实际应用中,在将目标调度数据集输入预先训练的目标神经网络模型的过程中,可以对目标调度数据集进行处理,得到满足需求的目标输入数据,比如得到准确性好的目标输入数据,得到便于目标神经网络模型运算的目标输入数据等;将目标输入数据输入预先训练的目标神经网络模型。
47.具体应用场景中,在对目标调度数据集进行处理,得到目标输入数据的过程中,可以对目标调度数据集进行小波变换及滤波等来去除异常值,得到目标输入数据。当然也可以有其他对目标调度数据集进行处理的方式,本技术在此不做具体限定。
48.具体应用场景中,当需要对目标神经网络模型进行训练时,比如在将目标调度数据集输入预先训练的目标神经网络模型之前,可以先对目标神经网络模型进行训练,训练过程可以包括以下步骤:获取目标云平台在预设时间内的训练调度数据集,训练调度数据集中包括训练时采集的目标云平台的拓扑数据及部署有overlay网络的各个主机的网卡流量数据;对训练调度数据集进行分类,得到固定数据集和过渡数据集,固定数据集包括l2gateway主机固定不变时的网卡流量数据和拓扑数据,过渡数据集包括l2gateway主机变动时的网卡流量数据和拓扑数据;将固定数据集和过渡数据集分类为训练集和测试集,比如将固定数据集和过渡数据集中的75%作为训练集,将固定数据集和过渡数据集中的25%作为测试集等;基于训练集对搭建的不同参数的初始神经网络模型进行训练,参数包括batch_size、激活函数、神经网络层数、梯度下降算法、优化算法、学习率中的一个或多个;基于测试集对初始神经网络模型进行性能测试,并选取性能最优的初始神经网络模型作为目标神经网络模型。
49.需要说明的是,目标云平台的拓扑数据及部署有overlay网络的各个主机的网卡流量数据的类型均可以参阅上述实施例涉及的相应数据,本技术在此不做具体限定。此外,在具体应用场景中,训练调度数据集的形状等可以根据实际需要确定,比如训练调度数据集的形状可以为[样本,时间步长,特征],其中特征可以为[端口个数、虚拟机个数、ip数据包个数]等,本技术在此不做具体限定。
[0050]
具体应用场景中,在基于训练集对搭建的不同参数的初始神经网络模型进行训练的过程中,也可以对训练集进行处理,此时的处理方式与对目标调度数据集的处理方式相同,比如对训练集进行小波变换及滤波等来去除异常值,得到目标训练集;基于目标训练集对搭建的不同参数的初始神经网络模型进行训练。相应的,在基于测试集对初始神经网络模型进行性能测试的过程中,也可以对测试集进行处理,比如对测试集进行小波变换及滤波等来去除异常值,得到目标测试集;基于目标测试集对初始神经网络模型进行性能测试。
[0051]
具体应用场景中,在对训练调度数据集进行分类,得到固定数据集和过渡数据集的过程中,可以根据训练需求,收集此两类情况下的数据,在固定数据集中,l2gateway绑定在固定的网卡ethi上,采集整个过程中的流量和拓扑数据;在过渡数据集中,l2gateway前一阶段绑定在其他网卡,下一阶段调度到

ethi网卡上,采集l2gateway从无到有的流量数
据;其中两种情况下的数据量可以比例均衡,假设整个云平台有n张网卡(可用于l2gateway绑定),分别为eth1、eth2
……
ethn,第n张网卡在时间段t内对应的流量数据为lnt,云平台的拓扑数据为mt,则构建特征向量x=[l1t,l2t

lnt,mt];该向量由时间和数据集组成三维特征。构建完标准的神经网络三维数据后,再将数据进行滤波、标准化、归一化处理,将处理完成数据按照3:1划分训练集和测试集等。
[0052]
需要说明的是,具体应用场景中,目标神经网络模型的训练过程还可以根据实际需要进行适应性调整,如图4所示,目标神经网络模型的训练过程可以包括以下步骤:构建lstm网络模型;初始化lstm网络模型参数;将训练集送入lstm网络模型进行训练;计算lstm网络模型的损失函数;计算lstm网络模型的梯度值,根据梯度值调整lstm网络模型的参数;更新迭代次数,并判断是否达到最大迭代次数,若是,则结束,若否,则返回执行将训练集送入lstm网络模型进行训练的步骤。
[0053]
步骤s204:获取目标神经网络模型预测的各个主机的网卡在未来时间内的目标性能数据。
[0054]
步骤s205:基于目标性能数据,在主机中选取满足二层网关性能需求的目标主机。
[0055]
步骤s206:在目标主机上部署二层网关,以使主机基于二层网关与外部网卡进行通信。
[0056]
请参阅图5,图5为本技术实施例提供的一种主机调度方法的第三流程图。
[0057]
本技术实施例提供的一种主机调度方法,可以包括以下步骤:步骤s301:获取目标云平台的目标调度数据集,目标调度数据集包括目标云平台的拓扑数据及部署有覆盖网络的各个主机的网卡流量数据。
[0058]
步骤s302:将目标调度数据集输入预先训练的目标神经网络模型,目标神经网络模型包括长短期记忆网络模型。
[0059]
步骤s303:获取目标神经网络模型预测的各个主机的网卡在未来时间内开启二层网关后的传输速度。
[0060]
实际应用中,在获取目标神经网络模型预测的各个主机的网卡在未来时间内的目标性能数据的过程中,可以获取目标神经网络模型预测的各个主机的网卡在未来时间内开启l2gateway后的传输速度等,以便基于该传输速率准确评估主机是否适合部署l2gateway。
[0061]
步骤s304:基于主机的网卡的传输速度,确定主机的网卡的负载率,基于主机的网卡的负载率在主机中选取满足二层网关性能需求的目标主机。
[0062]
步骤s305:在目标主机上部署二层网关,以使主机基于二层网关与外部网卡进行通信。
[0063]
实际应用中,在基于目标性能数据,在主机中选取满足l2gateway性能需求的目标主机的过程中,可以基于主机的网卡的传输速度,确定主机的网卡的负载率;再基于主机的网卡的负载率在主机中选取满足l2gateway性能需求的目标主机。
[0064]
具体应用场景中,在基于主机的网卡的负载率在主机中选取满足l2gateway性能需求的目标主机的过程中,可以获取目标云平台在当前运行环境下部署l2gateway的预设负载率阈值;获取目标云平台中部署l2gateway的各个源主机的网卡负载率值;按照预设负载率阈值及网卡负载率值,基于主机的网卡的负载率在主机中选取满足预设负载率阈值的
目标主机。
[0065]
具体应用场景中,在按照预设负载率阈值及网卡负载率值,基于主机的网卡的负载率在主机中选取满足预设负载率阈值的目标主机的过程中,若网卡负载率值大于预设负载率阈值的第一边界值,且小于预设负载率阈值的第二边界值,比如第一边界值为50%,第二边界值为80%等,则可以定时基于主机的网卡的负载率在主机中选取满足预设负载率阈值的目标主机,此外,在定时基于主机的网卡的负载率在主机中选取满足预设负载率阈值的目标主机之后,若目标主机与源主机的负载率差值在预设范围内,比如在5%以内,则可以依旧将源主机作为目标主机等。需要说明的是,在网卡负载率小于第一边界值的情况下,可以对部署l2gateway的主机进行调度,也即不基于主机的网卡的负载率在主机中选取满足预设负载率阈值的目标主机。
[0066]
具体应用场景中,在按照预设负载率阈值及网卡负载率值,基于主机的网卡的负载率在主机中选取满足预设负载率阈值的目标主机的过程中,若网卡负载率值大于预设负载率阈值的第二边界值,且小于预设负载率阈值的第三边界值,比如第三边界值为90%等,则可以实时基于主机的网卡的负载率在主机中选取满足预设负载率阈值的目标主机。
[0067]
具体应用场景中,在按照预设负载率阈值及网卡负载率值,基于主机的网卡的负载率在主机中选取满足预设负载率阈值的目标主机的过程中,若网卡负载率值大于等于负载率阈值的第三边界值,则可以发出告警日志,以使用户基于该告警日志确定对目标主机进行调度的用户指令;接收与告警日志对应的用户指令;基于用户指令在主机中选取满足预设负载率阈值的目标主机,以在用户的管控下完成目标主机的选取。
[0068]
步骤s306:在目标主机上部署二层网关,以使主机基于二层网关与外部网卡进行通信。
[0069]
请参阅图6,图6为本技术实施例提供的一种主机调度方法的第四流程图。
[0070]
本技术实施例提供的一种主机调度方法,可以包括以下步骤:步骤s401:获取目标云平台的目标调度数据集,目标调度数据集包括目标云平台的拓扑数据及部署有覆盖网络的各个主机的网卡流量数据。
[0071]
步骤s402:将目标调度数据集输入预先训练的目标神经网络模型,目标神经网络模型包括长短期记忆网络模型。
[0072]
步骤s403:获取目标神经网络模型预测的各个主机的网卡在未来时间内的目标性能数据。
[0073]
步骤s404:基于目标性能数据,在主机中选取满足l2gateway性能需求的目标主机。
[0074]
步骤s405:判断目标主机是否异常;若目标主机正常,则执行步骤s406;若目标主机异常,则执行步骤s407。
[0075]
步骤s406:在目标主机上部署二层网关,以使主机基于二层网关与外部网卡进行通信。
[0076]
步骤s407:删除目标主机及对应的目标性能数据,返回执行步骤s404。
[0077]
实际应用中,在目标主机上部署l2gateway的过程中,可以判断目标主机是否异常;若目标主机正常,则在目标主机上部署l2gateway;若目标主机异常,则删除目标主机及对应的目标性能数据,返回执行基于目标性能数据,在主机中选取满足l2gateway性能需求
的目标主机的步骤。以选取出正常且网络状态最优的主机来部署l2gateway,排除主机自身异常对l2gateway业务的影响,进一步保证l2gateway的稳定运行。
[0078]
还需说的是,具体应用场景中,为了及时更新部署l2gateway的主机,还可以设置相应的主机更新时间阈值,在目标主机上部署l2gateway之后,便可以开始计时,若计时时长达到主机更新时间阈值,则可以重新执行获取目标云平台的目标调度数据集及之后的步骤,以及时更新部署l2gateway的主机等,本技术在此不做具体限定。
[0079]
请参阅图7,图7为本技术实施例提供的一种主机调度系统的结构示意图。
[0080]
本技术实施例提供的一种主机调度系统,可以包括:第一获取模块101,用于获取目标云平台的目标调度数据集,所述目标调度数据集包括所述目标云平台的拓扑数据及部署有overlay网络的各个主机的网卡流量数据;第一输入模块102,用于将所述目标调度数据集输入预先训练的目标神经网络模型,所述目标神经网络模型包括lstm模型;第二获取模块103,用于获取所述目标神经网络模型预测的各个所述主机的网卡在未来时间内的目标性能数据;第一选取模块104,用于基于所述目标性能数据,在所述主机中选取满足l2gateway性能需求的目标主机;第一部署模块105,用于在所述目标主机上部署所述l2gateway,以使所述主机基于所述l2gateway与外部网络进行通信。
[0081]
本技术实施例提供的一种主机调度系统,还可以包括:第三获取模块,用于第一输入模块将目标调度数据集输入预先训练的目标神经网络模型之前,获取目标云平台在预设时间内的训练调度数据集;第一分类模块,用于对训练调度数据集进行分类,得到固定数据集和过渡数据集,固定数据集包括l2gateway主机固定不变时的网卡流量数据和拓扑数据,过渡数据集包括l2gateway主机变动时的网卡流量数据和拓扑数据;第二分类模块,用于将固定数据集和过渡数据集分类为训练集和测试集;第一训练模块,用于基于训练集对搭建的不同参数的初始神经网络模型进行训练,参数包括batch_size、激活函数、神经网络层数、梯度下降算法、优化算法、学习率中的一个或多个;第一测试模块,用于基于测试集对初始神经网络模型进行性能测试,并选取性能最优的初始神经网络模型作为目标神经网络模型。
[0082]
本技术实施例提供的一种主机调度系统,第一训练模块可以包括:第一处理单元,用于对训练集进行处理,得到目标训练集;第一训练单元,用于基于目标训练集对搭建的不同参数的初始神经网络模型进行训练。
[0083]
本技术实施例提供的一种主机调度系统,第一测试模块可以包括:第二处理单元,用于对测试集进行处理,得到目标测试集;第一测试单元,用于基于目标测试集对初始神经网络模型进行性能测试。
[0084]
本技术实施例提供的一种主机调度系统,第一输入模块可以包括:第三处理单元,用于对目标调度数据集进行处理,得到目标输入数据;
第一输入单元,用于将目标输入数据输入预先训练的目标神经网络模型。
[0085]
本技术实施例提供的一种主机调度系统,第三处理单元可以具体用于:对目标调度数据集进行小波变换及滤波,得到目标输入数据。
[0086]
本技术实施例提供的一种主机调度系统,第二获取模块可以包括:第一获取单元,用于获取目标神经网络模型预测的各个主机的网卡在未来时间内开启l2gateway后的传输速度。
[0087]
本技术实施例提供的一种主机调度系统,第一选取模块可以包括:第一确定单元,用于基于主机的网卡的传输速度,确定主机的网卡的负载率;第一选取单元,用于基于主机的网卡的负载率在主机中选取满足l2gateway性能需求的目标主机。
[0088]
本技术实施例提供的一种主机调度系统,第一选取单元可以具体用于:获取目标云平台在当前运行环境下部署l2gateway的预设负载率阈值;获取目标云平台中部署l2gateway的各个源主机的网卡负载率值;按照预设负载率阈值及网卡负载率值,基于主机的网卡的负载率在主机中选取满足预设负载率阈值的目标主机。
[0089]
本技术实施例提供的一种主机调度系统,第一选取单元可以具体用于:若网卡负载率值大于预设负载率阈值的第一边界值,且小于预设负载率阈值的第二边界值,则定时基于主机的网卡的负载率在主机中选取满足预设负载率阈值的目标主机。
[0090]
本技术实施例提供的一种主机调度系统,第一选取单元可以具体用于:定时基于主机的网卡的负载率在主机中选取满足预设负载率阈值的目标主机之后,若目标主机与源主机的负载率差值在预设范围内,则将源主机作为目标主机。
[0091]
本技术实施例提供的一种主机调度系统,第一选取单元可以具体用于:若网卡负载率值大于等于负载率阈值的第三边界值,则发出告警日志;接收与告警日志对应的用户指令;基于用户指令在主机中选取满足预设负载率阈值的目标主机。
[0092]
本技术实施例提供的一种主机调度系统,第一部署模块可以包括:第一判断单元,用于判断目标主机是否异常;若目标主机正常,则在目标主机上部署l2gateway;若目标主机异常,则删除目标主机及对应的目标性能数据,返回执行基于目标性能数据,在主机中选取满足l2gateway性能需求的目标主机的步骤。
[0093]
本技术还提供了一种主机调度设备及计算机可读存储介质,其均具有本技术实施例提供的一种主机调度方法具有的对应效果。请参阅图8,图8为本技术实施例提供的一种主机调度设备的结构示意图。
[0094]
本技术实施例提供的一种主机调度设备,包括存储器201和处理器202,存储器201中存储有计算机程序,处理器202执行计算机程序时实现如下步骤:获取目标云平台的目标调度数据集,目标调度数据集包括目标云平台的拓扑数据及部署有overlay网络的各个主机的网卡流量数据;将目标调度数据集输入预先训练的目标神经网络模型,目标神经网络模型包括lstm模型;获取目标神经网络模型预测的各个主机的网卡在未来时间内的目标性能数据;基于目标性能数据,在主机中选取满足l2gateway性能需求的目标主机;在目标主机上部署l2gateway,以使主机基于l2gateway与外部网卡进行通信。
[0095]
本技术实施例提供的一种主机调度设备,包括存储器201和处理器202,存储器201中存储有计算机程序,处理器202执行计算机程序时实现如下步骤:将目标调度数据集输入预先训练的目标神经网络模型之前,获取目标云平台在预设时间内的训练调度数据集;对训练调度数据集进行分类,得到固定数据集和过渡数据集,固定数据集包括l2gateway主机固定不变时的网卡流量数据和拓扑数据,过渡数据集包括l2gateway主机变动时的网卡流量数据和拓扑数据;将固定数据集和过渡数据集分类为训练集和测试集;基于训练集对搭建的不同参数的初始神经网络模型进行训练,参数包括batch_size、激活函数、神经网络层数、梯度下降算法、优化算法、学习率中的一个或多个;基于测试集对初始神经网络模型进行性能测试,并选取性能最优的初始神经网络模型作为目标神经网络模型。
[0096]
本技术实施例提供的一种主机调度设备,包括存储器201和处理器202,存储器201中存储有计算机程序,处理器202执行计算机程序时实现如下步骤:对训练集进行处理,得到目标训练集;基于目标训练集对搭建的不同参数的初始神经网络模型进行训练。
[0097]
本技术实施例提供的一种主机调度设备,包括存储器201和处理器202,存储器201中存储有计算机程序,处理器202执行计算机程序时实现如下步骤:对测试集进行处理,得到目标测试集;基于目标测试集对初始神经网络模型进行性能测试。
[0098]
本技术实施例提供的一种主机调度设备,包括存储器201和处理器202,存储器201中存储有计算机程序,处理器202执行计算机程序时实现如下步骤:对目标调度数据集进行处理,得到目标输入数据;将目标输入数据输入预先训练的目标神经网络模型。
[0099]
本技术实施例提供的一种主机调度设备,包括存储器201和处理器202,存储器201中存储有计算机程序,处理器202执行计算机程序时实现如下步骤:对目标调度数据集进行小波变换及滤波,得到目标输入数据。
[0100]
本技术实施例提供的一种主机调度设备,包括存储器201和处理器202,存储器201中存储有计算机程序,处理器202执行计算机程序时实现如下步骤:获取目标神经网络模型预测的各个主机的网卡在未来时间内开启l2gateway后的传输速度。
[0101]
本技术实施例提供的一种主机调度设备,包括存储器201和处理器202,存储器201中存储有计算机程序,处理器202执行计算机程序时实现如下步骤:基于主机的网卡的传输速度,确定主机的网卡的负载率;基于主机的网卡的负载率在主机中选取满足l2gateway性能需求的目标主机。
[0102]
本技术实施例提供的一种主机调度设备,包括存储器201和处理器202,存储器201中存储有计算机程序,处理器202执行计算机程序时实现如下步骤:获取目标云平台在当前运行环境下部署l2gateway的预设负载率阈值;获取目标云平台中部署l2gateway的各个源主机的网卡负载率值;按照预设负载率阈值及网卡负载率值,基于主机的网卡的负载率在主机中选取满足预设负载率阈值的目标主机。
[0103]
本技术实施例提供的一种主机调度设备,包括存储器201和处理器202,存储器201中存储有计算机程序,处理器202执行计算机程序时实现如下步骤:若网卡负载率值大于预设负载率阈值的第一边界值,且小于预设负载率阈值的第二边界值,则定时基于主机的网卡的负载率在主机中选取满足预设负载率阈值的目标主机。
[0104]
本技术实施例提供的一种主机调度设备,包括存储器201和处理器202,存储器201中存储有计算机程序,处理器202执行计算机程序时实现如下步骤:定时基于主机的网卡的
负载率在主机中选取满足预设负载率阈值的目标主机之后,若目标主机与源主机的负载率差值在预设范围内,则将源主机作为目标主机。
[0105]
本技术实施例提供的一种主机调度设备,包括存储器201和处理器202,存储器201中存储有计算机程序,处理器202执行计算机程序时实现如下步骤:若网卡负载率值大于等于负载率阈值的第三边界值,则发出告警日志;接收与告警日志对应的用户指令;基于用户指令在主机中选取满足预设负载率阈值的目标主机。
[0106]
本技术实施例提供的一种主机调度设备,包括存储器201和处理器202,存储器201中存储有计算机程序,处理器202执行计算机程序时实现如下步骤:判断目标主机是否异常;若目标主机正常,则在目标主机上部署l2gateway;若目标主机异常,则删除目标主机及对应的目标性能数据,返回执行基于目标性能数据,在主机中选取满足l2gateway性能需求的目标主机的步骤。
[0107]
请参阅图9,本技术实施例提供的另一种主机调度设备中还可以包括:与处理器202连接的输入端口203,用于传输外界输入的命令至处理器202;与处理器202连接的显示单元204,用于显示处理器202的处理结果至外界;与处理器202连接的通信模块205,用于实现主机调度设备与外界的通信。显示单元204可以为显示面板、激光扫描使显示器等;通信模块205所采用的通信方式包括但不局限于移动高清链接技术(hml)、通用串行总线(usb)、高清多媒体接口(hdmi)、无线连接:无线保真技术(wifi)、蓝牙通信技术、低功耗蓝牙通信技术、基于ieee802.11s的通信技术。
[0108]
本技术实施例提供的一种计算机可读存储介质,计算机可读存储介质中存储有计算机程序,计算机程序被处理器执行时实现如下步骤:获取目标云平台的目标调度数据集,目标调度数据集包括目标云平台的拓扑数据及部署有overlay网络的各个主机的网卡流量数据;将目标调度数据集输入预先训练的目标神经网络模型,目标神经网络模型包括lstm模型;获取目标神经网络模型预测的各个主机的网卡在未来时间内的目标性能数据;基于目标性能数据,在主机中选取满足l2gateway性能需求的目标主机;在目标主机上部署l2gateway,以使主机基于l2gateway与外部网卡进行通信。
[0109]
本技术实施例提供的一种计算机可读存储介质,计算机可读存储介质中存储有计算机程序,计算机程序被处理器执行时实现如下步骤:将目标调度数据集输入预先训练的目标神经网络模型之前,获取目标云平台在预设时间内的训练调度数据集;对训练调度数据集进行分类,得到固定数据集和过渡数据集,固定数据集包括l2gateway主机固定不变时的网卡流量数据和拓扑数据,过渡数据集包括l2gateway主机变动时的网卡流量数据和拓扑数据;将固定数据集和过渡数据集分类为训练集和测试集;基于训练集对搭建的不同参数的初始神经网络模型进行训练,参数包括batch_size、激活函数、神经网络层数、梯度下降算法、优化算法、学习率中的一个或多个;基于测试集对初始神经网络模型进行性能测试,并选取性能最优的初始神经网络模型作为目标神经网络模型。
[0110]
本技术实施例提供的一种计算机可读存储介质,计算机可读存储介质中存储有计算机程序,计算机程序被处理器执行时实现如下步骤:对训练集进行处理,得到目标训练集;基于目标训练集对搭建的不同参数的初始神经网络模型进行训练。
[0111]
本技术实施例提供的一种计算机可读存储介质,计算机可读存储介质中存储有计算机程序,计算机程序被处理器执行时实现如下步骤:对测试集进行处理,得到目标测试集;基于目标测试集对初始神经网络模型进行性能测试。
[0112]
本技术实施例提供的一种计算机可读存储介质,计算机可读存储介质中存储有计算机程序,计算机程序被处理器执行时实现如下步骤:对目标调度数据集进行处理,得到目标输入数据;将目标输入数据输入预先训练的目标神经网络模型。
[0113]
本技术实施例提供的一种计算机可读存储介质,计算机可读存储介质中存储有计算机程序,计算机程序被处理器执行时实现如下步骤:对目标调度数据集进行小波变换及滤波,得到目标输入数据。
[0114]
本技术实施例提供的一种计算机可读存储介质,计算机可读存储介质中存储有计算机程序,计算机程序被处理器执行时实现如下步骤:获取目标神经网络模型预测的各个主机的网卡在未来时间内开启l2gateway后的传输速度。
[0115]
本技术实施例提供的一种计算机可读存储介质,计算机可读存储介质中存储有计算机程序,计算机程序被处理器执行时实现如下步骤:基于主机的网卡的传输速度,确定主机的网卡的负载率;基于主机的网卡的负载率在主机中选取满足l2gateway性能需求的目标主机。
[0116]
本技术实施例提供的一种计算机可读存储介质,计算机可读存储介质中存储有计算机程序,计算机程序被处理器执行时实现如下步骤:获取目标云平台在当前运行环境下部署l2gateway的预设负载率阈值;获取目标云平台中部署l2gateway的各个源主机的网卡负载率值;按照预设负载率阈值及网卡负载率值,基于主机的网卡的负载率在主机中选取满足预设负载率阈值的目标主机。
[0117]
本技术实施例提供的一种计算机可读存储介质,计算机可读存储介质中存储有计算机程序,计算机程序被处理器执行时实现如下步骤:若网卡负载率值大于预设负载率阈值的第一边界值,且小于预设负载率阈值的第二边界值,则定时基于主机的网卡的负载率在主机中选取满足预设负载率阈值的目标主机。
[0118]
本技术实施例提供的一种计算机可读存储介质,计算机可读存储介质中存储有计算机程序,计算机程序被处理器执行时实现如下步骤:定时基于主机的网卡的负载率在主机中选取满足预设负载率阈值的目标主机之后,若目标主机与源主机的负载率差值在预设范围内,则将源主机作为目标主机。
[0119]
本技术实施例提供的一种计算机可读存储介质,计算机可读存储介质中存储有计算机程序,计算机程序被处理器执行时实现如下步骤:若网卡负载率值大于等于负载率阈值的第三边界值,则发出告警日志;接收与告警日志对应的用户指令;基于用户指令在主机中选取满足预设负载率阈值的目标主机。
[0120]
本技术实施例提供的一种计算机可读存储介质,计算机可读存储介质中存储有计算机程序,计算机程序被处理器执行时实现如下步骤:判断目标主机是否异常;若目标主机正常,则在目标主机上部署l2gateway;若目标主机异常,则删除目标主机及对应的目标性能数据,返回执行基于目标性能数据,在主机中选取满足l2gateway性能需求的目标主机的步骤。
[0121]
本技术所涉及的计算机可读存储介质包括随机存储器(ram)、内存、只读存储器
(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或技术领域内所公知的任意其它形式的存储介质。
[0122]
本技术实施例提供的主机调度系统、设备及计算机可读存储介质中相关部分的说明请参见本技术实施例提供的主机调度方法中对应部分的详细说明,在此不再赘述。另外,本技术实施例提供的上述技术方案中与现有技术中对应技术方案实现原理一致的部分并未详细说明,以免过多赘述。
[0123]
还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个
……”
限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0124]
对所公开的实施例的上述说明,使本领域技术人员能够实现或使用本技术。对这些实施例的多种修改对本领域技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本技术的精神或范围的情况下,在其它实施例中实现。因此,本技术将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1