一种基于日志分析的系统故障监测和预警系统及方法与流程

本发明涉及计算机信息处理，尤其是一种基于日志分析的系统故障监测和预警系统及方法。

背景技术：

1、设备线管控系统（block control system），简称bc系统。bc系统具有整合各种设备、参数智能管理、生产管理及管制等功能，可以将各自独立的上下游设备整合成一条自动化设备线，提高生产效率和产品良率。

2、随着设备规模的快速发展，运维管理变得更加复杂。在网络设备、管理设备、终端设备的运行期间，将生成大量的日志数据，包括网络连接状态、系统数据库运行状态、服务进程运行状态等。

3、设备的长期运行难免会产生故障，现有技术对故障的预警大多基于相对简单的处理算法，如统计分析和关联规则。现有在进行设备的故障预警时，一般也仅仅能够依据当前设备的运行数据和设备的状态数据对该设备本身是否存在故障进行预警，而在实际应用中发现，大概率出现故障的设备，其链路周边的设备也更容易出现故障，比如，若一个设备出现漏电，或是长期工作在超负荷状态或是工作电压超出额定工作电压，与该设备相互关联的其他设备必然也都得要受到一定影响，其出现概率的可能信也很大。然而，现有的预警方式，都对此类设备没有进行预警。

技术实现思路

1、为解决上述现有技术问题，本发明提供一种基于日志分析的系统故障监测和预警系统，其特征在于，包括：

2、日志采集模块；

3、日志处理模块；

4、日志存储模块；

5、日志分析模块；

6、拓扑分析模块；

7、日志报警模块；

8、其中，

9、所述日志采集模块，用于采集目标设备的日志数据；

10、所述日志处理模块，用于按照所述日志数据的类型数据，对所述日志数据进行结构化处理，得到结构化日志数据，其中，所述结构化日志数据包括与所述目标设备的类型对应的类型id；

11、所述日志存储模块，用于对所述结构化日志数据进行存储；

12、所述日志分析模块，用于根据已训练的分类预测模型，对存储的结构化日志数据进行故障预测，得到故障预测结果；

13、所述拓扑分析模块，用于按照预设条件更新所述目标设备所属目标网络的拓扑图，所述目标网络由至少两个设备组成，所述拓扑图是根据所述目标网络中各个设备之间的传输相关性进行初始化的，所述拓扑图中包括所述至少两个设备之间的连接关系；所述日志报警模块，用于根据设备关联拓扑图和所述故障预测结果，发出报警信息。

14、作为本技术的一可选实施例，所述日志采集模块包括：

15、采集单元，用于通过tcp协议，从所述目标设备获取日志数据；

16、分类单元，用于根据所述目标设备的ip地址，确定所述目标设备的类型；

17、添加单元，用于根据所述目标设备的类型，添加类型数据至对应的所述日志数据中。

18、作为本技术的一可选实施例，还包括日志归档模块，日志归档模块用于将设备检修结果和报警设备的相关日志数据进行关联存储；

19、所述拓扑分析模块，用于将预测故障设备对应的当前日志数据与日志归档模块中的日志数据进行相似度匹配，并依据相似度匹配结果对所述拓扑图进行自动校正更新。

20、作为本技术的一可选实施例，所述相似度匹配具体为：

21、；

22、其中，为当前日志数据中第个字段的值， 为当前日志数据的字段平均值,为归档日志数据中第个字段的值， 为归档日志数据的字段平均值, 代表的日志数据的字段长度, 为相似度, 和为两个权重系数。

23、作为本技术的一可选实施例，所述日志处理模块，用于按照所述日志数据的类型数据，对所述日志数据进行结构化处理，得到结构化日志数据，其中，所述结构化日志数据包括与所述目标设备的类型对应的类型id；类型数据不同的日志数据对应的结构化处理方式不同。

24、作为本技术的一可选实施例，还包括日志存储模块，所述日志数据存储模块，包括：

25、分类存储模块，用于根据所述类型id，将所述结构化日志数据存储在目标表中，不同的表中存储的结构化日志数据的类型id不同；

26、命名单元，用于根据所述目标表中第一行数据的采集时间对所述目标表进行命名；

27、导出单元，用于判断所述目标表是否满足导出条件，当所述目标表的行数大于行数阈值时，将所述目标表中的数据导出为csv文件。

28、作为本技术的一可选实施例，所述报警信息还包括所述目标设备关联的待检测设备；所述日志报警模块，还用于根据所述拓扑图和所述故障预测结果确定与所述目标设备和所述待处理的线路相关联的待检测设备。

29、作为本技术的一可选实施例，

30、所述分类预测模型通过如下步骤进行训练：

31、根据目标设备的日志数据，得到样本集；

32、采用分类预测模型对所述样本集进行预测，得到所述样本集的预测结果；

33、基于所述样本集的预测结果与所述样本集的标准结果之间的差异对所述分类预测模型进行训练，得到训练后的分类预测模型。

34、作为本技术的一可选实施例，所述行数阈值为5000行：

35、作为本技术的一可选实施例，所述目标设备包括：网络设备、管理设备、终端设备。

36、另一方面，为解决上述技术问题，本技术还公开了一种基于日志分析的系统故障监测和预警方法，包括以下步骤：

37、采集目标设备的日志数据；

38、对所述日志数据进行结构化，得到结构化日志数据，其中，所述结构化日志数据包括与所述目标设备的类型对应的类型id，类型数据不同的日志数据对应的结构化处理方式不同；

39、对所述结构化日志数据进行存储；

40、根据已训练的分类预测模型，对存储的结构化日志数据进行故障预测，得到故障预测结果，所述故障预测结果是基于结构化日志数据中与所述目标设备的类型对应的类型id确定的；

41、按照预设条件更新所述目标设备所属目标网络的拓扑图，所述目标网络由至少两个设备组成，所述拓扑图是根据所述目标网络中各个设备之间的传输相关性进行更新的，所述拓扑图中包括所述至少两个设备之间的连接关系；

42、根据所述拓扑图和所述故障预测结果，发出报警信息；所述报警信息包括所述目标设备存在的故障和待处理的线路，所述目标设备存在的故障是基于所述故障预测结果确定的，所述待处理的线路是基于所述故障预测结果和所述拓扑图确定的。

43、综上所述，本发明的有益效果如下：

44、本技术在进行报警时，能够根据基于日志数据的预测结果和设备的关联拓扑图对潜在故障设备进行报警，可以挖掘出日志数据中没有直接体现的故障设备，对没有体现出的故障设备也进行报警，方便维护人员一次性维护到位；另外一方面，本技术通过计算日志数据与归档日志数据的相似度来实现拓扑图的自动更新，确保了拓扑图的实时准确性。最后，本技术通过将数据库中的日志文件的数据量超过一预设阈值时，将数据库中日志数据导出为csv文件，减少了对内存的消耗。