一种系统异常的检测方法、装置、存储介质及电子设备与流程

本发明涉及日志检测，具体涉及一种系统异常的检测方法、装置、存储介质及电子设备。

背景技术：

1、系统异常检测是检测系统故障、调试机器性能以及维护系统安全等必不可少的重要任务，随着系统运行中遇到的漏洞以及非法入侵等恶意行为变得多样化，系统产生的日志数据的种类也越来越多，因此，系统异常检测也面临着越来越多的挑战。系统日志文件记录了不同时刻系统的运行状态和发生的事件，是故障分析、性能检测、以及进行系统异常检测的重要数据。

2、现有的基于系统日志的异常检测工作大致可以分为以下类别：基于经验的日志异常检测方法及基于朴素机器学习方法的日志异常检测方法。其中，基于经验的日志异常检测方法主要是工程师根据长期异常检测的经验所设计的逻辑编写程序进行异常检测。在相当长的时间内，这是异常检测的主要方法。该方法的好处是可以充分利用工程师长期进行异常检测的经验，对许多较为明显的异常很有效果。另外，这样的方式贴合人类的思维逻辑，便于修改和更新。然而，这样的方法也有不足：较为耗费人力，且对于从未见过的异常没有效果。

3、基于朴素机器学习方法的日志异常检测方法采用传统的机器学习方法，从日志数据中训练出一个机器学习模型来进行异常检测。这类方法克服了一些上述问题：没有那么耗费人力，且对于新的异常也有一些效果。然而，由于方法较为朴素，一些异常无法检测出来，因此所达到的效果没有那么令人满意。

技术实现思路

1、有鉴于此，本发明实施例提供了涉及一种系统异常的检测方法、装置、存储介质及电子设备，以解决现有技术中采用基于系统日志的异常检测效果较差的技术问题。

2、本发明提出的技术方案如下：

3、本发明实施例第一方面提供一种系统异常的检测方法，包括：将系统日志进行解析，得到多个日志条目、每个日志条目对应的事件和参数；将每个日志条目的事件进行语义矢量化，得到每个日志条目的事件语义矢量；采用基于事件语义矢量序列训练得到的事件异常检测模型对每个日志条目的事件语义矢量进行事件异常检测，得到事件异常检测的结果；当事件异常检测的结果为正常时，采用基于参数序列训练得到的参数异常检测模型对每个日志条目的参数进行参数异常检测，得到参数异常检测的结果。

4、可选地，该系统异常的检测方法还包括：当当前系统异常时，基于任意两个事件在预设时间距离内出现的频率计算任意两个事件之间的重要性；基于任意两个事件之间的重要性和预设阈值的大小，将任意两个事件形成事件流；对形成的事件流是否准确进行识别，基于事件流的识别结果，判断是否对事件异常检测模型进行更新。

5、可选地，所述任意两个事件包括第一事件和第二事件，所述任意两个事件的重要性为第二事件对第一事件的重要性，所述第二事件对第一事件的重要性由第一事件和第二事件在预设时间距离内出现的频率与预设时间距离和第一事件的频率乘积的比值确定。

6、可选地，基于任意两个事件之间的重要性和预设阈值的大小，将任意两个事件形成事件流，包括：当任意两个事件之间的重要性大于预设阈值时，将第一事件和第二事件构成第一事件流；在第三事件对第一事件的重要性以及第三事件对第二事件的重要性均大于预设阈值，将第一事件流扩充为包括第一事件、第二事件和第三事件；若第三事件对第一事件的重要性大于预设阈值，且第三事件对第二事件的重要性小于等于预设阈值，将第一事件和第三事件构成第二事件流；若第三事件对第一事件的重要性小于等于预设阈值，保持第一事件流不变。

7、可选地，对形成的事件流是否准确进行识别，基于事件流的识别结果，判断是否对事件异常检测模型进行更新，包括：将事件流输出至用户，以使用户对事件流进行识别；若用户对事件流的识别结果为错误时，获取用户对事件流修正后的识别结果；根据修正后的识别结果生成新的事件语义矢量序列；利用新的事件语义矢量序列对事件异常检测模型重新训练，得到更新后的事件异常检测模型。

8、可选地，将每个日志条目的事件进行语义矢量化，得到每个日志条目的事件语义矢量，包括：对每个日志条目事件进行预处理；基于快速文本分类算法获取每个日志条目的事件中单词的语义矢量；采用tf-idf算法对每个日志条目的事件中单词的语义矢量进行计算，得到每个日志条目的事件语义矢量。

9、可选地，当事件异常检测的结果为正常时，采用基于参数序列训练得到的参数异常检测模型对每个日志条目的参数进行参数异常检测，得到参数异常检测的结果之前，包括：将每个日志条目的参数构成的参数序列划分为训练集和验证集；采用所述训练集中不同类事件对应的参数序列训练得到不同的参数异常检测模型；采用验证集对不同的参数异常检测模型进行验证，基于模型预设结果和验证集中的实际结果生成高斯分布。

10、可选地，当事件异常检测的结果为正常时，采用基于参数序列训练得到的参数异常检测模型对每个日志条目的参数进行参数异常检测，得到参数异常检测的结果，包括：当事件异常检测的结果为正常时，采用当前系统日志事件对应的参数异常检测模型对每个日志条目的参数进行参数序列预测，得到预测结果；将预测结果和当前系统日志事件对应的参数序列进行比较，判断比较结果是否落在所述高斯分布的高置信度区间内，所述高置信度区间为大于第一阈值的置信度区间；当落在高置信度区间内，则参数异常检测的结果为正常，反之为异常。

11、本发明实施例第二方面提供一种系统异常的检测装置，包括：解析模块，用于将系统日志进行解析，得到多个日志条目、每个日志条目对应的事件和参数；矢量化模块，用于将每个日志条目的事件进行语义矢量化，得到每个日志条目的事件语义矢量；第一检测模块，用于采用基于事件语义矢量序列训练得到的事件异常检测模型对每个日志条目的事件语义矢量进行事件异常检测，得到事件异常检测的结果；第二检测模块，用于当事件异常检测的结果为正常时，采用基于参数序列训练得到的参数异常检测模型对每个日志条目的参数进行参数异常检测，得到参数异常检测的结果；异常判断模块，用于当事件异常检测的结果为异常或者参数异常检测的结果为异常时，确定当前系统异常。

12、可选地，该系统异常的检测装置还包括：重要性计算模块，用于当当前系统异常时，基于任意两个事件在预设时间距离内出现的频率计算任意两个事件之间的重要性；事件流形成模块，用于基于任意两个事件之间的重要性和预设阈值的大小，将任意两个事件形成事件流；识别更新模块，用于对形成的事件流是否准确进行识别，基于事件流的识别结果，判断是否对事件异常检测模型进行更新。

13、可选地，所述任意两个事件包括第一事件和第二事件，所述任意两个事件的重要性为第二事件对第一事件的重要性，所述第二事件对第一事件的重要性由第一事件和第二事件在预设时间距离内出现的频率与预设时间距离和第一事件的频率乘积的比值确定。

14、可选地，事件流形成模块具体用于：当任意两个事件之间的重要性大于预设阈值时，将第一事件和第二事件构成第一事件流；在第三事件对第一事件的重要性以及第三事件对第二事件的重要性均大于预设阈值，将第一事件流扩充为包括第一事件、第二事件和第三事件；若第三事件对第一事件的重要性大于预设阈值，且第三事件对第二事件的重要性小于等于预设阈值，将第一事件和第三事件构成第二事件流；若第三事件对第一事件的重要性小于等于预设阈值，保持第一事件流不变。

15、可选地，识别更新模块具体用于：将事件流输出至用户，以使用户对事件流进行识别；若用户对事件流的识别结果为错误时，获取用户对事件流修正后的识别结果；根据修正后的识别结果生成新的事件语义矢量序列；利用新的事件语义矢量序列对事件异常检测模型重新训练，得到更新后的事件异常检测模型。

16、可选地，矢量化模块具体用于：对每个日志条目事件进行预处理；基于快速文本分类算法获取每个日志条目的事件中单词的语义矢量；采用tf-idf算法对每个日志条目的事件中单词的语义矢量进行计算，得到每个日志条目的事件语义矢量。

17、可选地，该装置还包括：高斯分布构建模块，具体用于将每个日志条目的参数构成的参数序列划分为训练集和验证集；采用所述训练集中不同类事件对应的参数序列训练得到不同的参数异常检测模型；采用验证集对不同的参数异常检测模型进行验证，基于模型预设结果和验证集中的实际结果生成高斯分布。

18、可选地，第二检测模块具体用于：当事件异常检测的结果为正常时，采用当前系统日志事件对应的参数异常检测模型对每个日志条目的参数进行参数序列预测，得到预测结果；将预测结果和当前系统日志事件对应的参数序列进行比较，判断比较结果是否落在所述高斯分布的高置信度区间内，所述高置信度区间为大于第一阈值的置信度区间；当落在高置信度区间内，则参数异常检测的结果为正常，反之为异常。

19、本发明实施例第三方面提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行如本发明实施例第一方面及第一方面任一项所述的系统异常的检测方法。

20、本发明实施例第四方面提供一种电子设备，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行如本发明实施例第一方面及第一方面任一项所述的系统异常的检测方法。

21、本发明提供的技术方案，具有如下效果：

22、本发明实施例提供的系统异常的检测方法、装置、存储介质及电子设备，采用事件异常检测模型和参数异常检测模型对系统日志进行异常检测，能够充分利用日志中的事件信息和参数信息，避免了现有异常检测方法没有利用到日志的各个部分，判断不准确的问题。即采用该系统异常的检测方法提高了检测的准确性。此外，在进行模型训练前进行语义矢量化，能够适应随时变动的日志条目格式。

23、本发明实施例提供的系统异常的检测方法、装置、存储介质及电子设备，充分利用日志中的事件信息与参数信息，并训练相应的模型来进行异常检测；为了保证语义矢量的区分度与兼容性，提出了一种基于词嵌入与tf-idf加权的日志事件的语义矢量化方法；同时，为了方便工程师对监测到的异常进行定位和分析，还提出了事件流模型的建立方法，工程师可以具体查看出现问题的日志事件流，从而对异常进行定位和分析，对于不正确的检测结果还可以予以修正；最终，采用了基于用户反馈的异常检测模型增量式更新方法，从而体现人在环路的关键思想，最大化用户反馈在异常检测中的效用。