本技术涉及机器学习,尤其涉及一种网络故障预测模型训练方法、故障预测方法、装置和设备。
背景技术:
1、在日常的网络运维过程中,网络很可能随时都会出现各种类型的故障,一旦故障出现,就需要运维人员尽快分析掌握故障类型,以便于解决该故障,运维人员的故障分析时间直接决定了故障处理效率。
2、现有技术中,通常是采用自动化工具进行故障分析,即运维人员下载出现故障时的网络数据包到本地,然后再上传到自动化工具进行分析得到分析结果。
3、但是,目前网络数据包产生的大量数据均为正常数据,少量故障数据,少量的故障数据存在样本单一性的问题,依赖少量的故障数据训练得到的自动化工具难以提高分析预测准确性,导致其不能有效的提高运维人员的故障处理效率。
技术实现思路
1、本技术提供一种网络故障预测模型训练方法、故障预测方法、装置和设备,用于解决现有网络故障预测准确性差,导致运维人员的故障处理效率低的问题。
2、第一方面,本技术实施例提供一种网络故障预测模型训练方法,包括:
3、获取当前时间段网络产生的网络数据包,所述网络数据包为故障数据包或正常数据包;
4、在所述网络数据包为故障数据包时,基于历史网络故障预测模型预测得到的当前时间段的网络数据包,获取所述故障数据包与所述预测得到的当前时间段的网络数据包的比对结果;
5、在所述比对结果满足条件时,基于所述故障数据包,对历史网络故障预测模型进行优化训练,得到更新后的网络故障预测模型。
6、在第一方面的一种可能设计中,所述方法还包括:
7、读取所述网络数据包中包含的字段;
8、若所述网络数据包中包含故障开始字段和/或故障结束字段,则确定所述网络数据包为故障数据包。
9、在第一方面的另一种可能设计中,所述基于历史网络故障预测模型预测得到的当前时间段的网络数据包,获取所述故障数据包与所述预测得到的当前时间段的网络数据包的比对结果之前,所述方法还包括:
10、获取在当前时间段之前的目标时间段所述网络产生的正常数据包,所述目标时间段与所述当前时间段的时间间隔最短;
11、将所述正常数据包作为所述历史网络故障预测模型的输入,获取所述历史网络故障预测模型的输出,作为所述历史网络故障预测模型预测得到的所述当前时间段的网络数据包。
12、在第一方面的再一种可能设计中,所述在所述比对结果满足条件时,基于所述故障数据包,对历史网络故障预测模型进行优化训练之前,还包括:
13、根据所述比对结果,判定所述故障数据包与所述预测得到的当前时间段的网络数据包是否一致;
14、若所述故障数据包与所述预测得到的当前时间段的网络数据包一致,则判定所述比对结果不满足条件;
15、若所述故障数据包与所述预测得到的当前时间段的网络数据包不一致,则判定所述比对结果满足条件。
16、在第一方面的又一种可能设计中,所述获取当前时间段网络产生的网络数据包,包括:
17、根据数据采集探针服务器从所述网络采集的实时网络数据,获取当前时间段的网络数据包,所述数据采集探针服务器用于采集所述网络的实时流量并解析得到实时网络数据。
18、在第一方面的又一种可能设计中,所述根据数据采集探针服务器从所述网络采集的实时网络数据,获取当前时间段的网络数据包,包括:
19、每间隔一个时间段,获取所述时间段内所述数据采集探针服务器从所述网络采集的实时网络数据,作为数据包存储至数据库中;
20、在所述数据库当前存储的数据包的数量等于设定阈值时,将所述数据库中与下一时间段时间间隔最长的数据包清除,以存储下一时间段获取的数据包;
21、从所述数据库存储的数据包中选择出目标数据包,作为所述当前时间段的网络数据包。
22、在第一方面的又一种可能设计中,所述根据数据采集探针服务器从所述网络采集的实时网络数据,获取当前时间段的网络数据包,包括:
23、若在当前时间段内从所述数据采集探针服务器获取的实时网络数据中存在故障开始字段,且不存在与所述故障开始字段对应的故障结束字段,则在下一个时间段继续从所述数据采集探针服务器获取实时网络数据,直到获取到包含所述故障结束字段的网络数据;
24、将所有时间段获取到的实时网络数据存储至故障数据库中,作为所述当前时间段的网络数据包。
25、在第一方面的又一种可能设计中,所述历史网络故障预测模型为初始预测模型或基于所述初始预测模型训练优化得到的,所述初始预测模型为基于历史故障数据训练得到的。
26、在第一方面的又一种可能设计中,所述方法还包括:
27、通过预先配置的过滤条件,对所述历史故障数据进行过滤,获取不同类型的历史故障数据包;
28、为每个类型的历史故障数据包配置一个线程进行处理,获取每个类型的历史故障数据包的特征值和分析结果,所述分析结果用于表征所述历史故障数据包的故障类型,所述特征值用于表征所述历史故障数据包的特征信息;
29、将每个类型的历史故障数据包的所述特征值和所述分析结果组合成一个特征数据集;
30、对每个特征数据集进行正样本和负样本进行标记,并基于预设比例,将所有特征数据集划分为训练集合和测试集;
31、基于所述训练集和测试集,训练得到初始预测模型。
32、在第一方面的又一种可能设计中,所述基于所述故障数据包,对历史网络故障预测模型进行优化训练,得到更新后的网络故障预测模型,包括:
33、获取所述故障数据包所属的故障类型,所述故障数据包的故障类型与历史故障数据包的故障类型不相同;
34、为所述故障数据包配置线程进行处理,获取所述故障数据包的特征值和分析结果,所述分析结果用于表征所述故障数据包的故障类型,所述特征值用于表征所述故障数据包的特征信息;
35、将所述故障数据包的特征值和分析结果组合成特征数据集,并基于所述特征数据集,对所述历史网络故障预测模型进行训练优化,得到更新后的网络故障预测模型。
36、第二方面,本技术实施例提供一种网络故障预测方法,包括:
37、获取网络产生的网络数据包,所述网络数据包包括正常数据包和故障数据包;
38、以所述网络数据包作为网络故障预测模型的输入,预测出所述网络在下一时间段将产生的网络数据包,所述网络故障预测模型为基于从网络获取的当前时间段的故障数据包,对上一时间段的历史网络故障预测模型进行优化训练得到的,其中,从网络获取的当前时间段的故障数据包与所述历史网络故障预测模型基于上一时间段所述网络产生的正常数据包,预测得到当前时间段的网络数据包不一致。
39、第三方面,本技术实施例提供一种网络故障预测模型训练装置,包括:
40、数据包获取模块,用于获取网络实时产生的当前网络数据包,所述当前网络数据包为故障数据包;
41、条件判定模块,用于在所述当前网络数据包为故障数据包时,基于历史网络故障预测模型所预测到的当前网络数据包,判定所述故障数据包是否满足条件;
42、模型优化训练模块,用于在所述故障数据包满足所述条件时,基于所述故障数据包,对历史网络故障预测模型进行优化训练,得到当前网络故障预测模型。
43、第四方面,本技术实施例提供一种网络故障预测装置,包括:
44、获取模块,用于获取网络产生的网络数据包,所述网络数据包包括正常数据包和故障数据包;
45、数据包预测模块,用于以所述网络数据包作为网络故障预测模型的输入,预测出所述网络在下一时间段将产生的网络数据包,所述网络故障预测模型为基于从网络获取的当前时间段的故障数据包,对上一时间段的历史网络故障预测模型进行优化训练得到的,其中,从网络获取的当前时间段的故障数据包与所述历史网络故障预测模型基于上一时间段所述网络产生的正常数据包,预测得到当前时间段的网络数据包不一致。
46、第五方面,本技术实施例提供一种电子设备,包括:处理器,以及与所述处理器通信连接的存储器;所述存储器存储计算机执行指令;所述处理器执行所述存储器存储的计算机执行指令,以实现如上所述的方法。
47、第六方面,本技术实施例提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现如上所述的方法。
48、本技术实施例提供的网络故障预测模型训练方法、故障预测方法、装置和设备,通过从当前网络获取实时产生的当前网络数据包,在发现当前网络数据包为故障数据包时,基于历史网络故障预测模型所预测到的当前网络数据包,判定该故障数据包是否满足条件,如果满足条件,则该故障数据包可以作为新的训练数据,对历史网络故障预测模型进行训练优化,得到当前网络故障预测模型,这样相当于获取到了更多不同类型的训练样本,使得训练优化得到的当前网络故障预测模型具有更强的预测效果,提高故障预测的准确性。