日志异常检测方法、装置、电子设备及存储介质与流程

本技术涉及计算机，具体涉及一种日志异常检测方法、装置、电子设备及存储介质。

背景技术：

1、计算机中的日志记录了各种关键时刻的系统状态以及操作事件，根据计算机中的日志可以帮助调试系统地性能问题以及发现故障，并根据计算机中的日志找到发生故障的原因。随着自动化收集计算机的日志数据以及时间序列数据的需求日益增加，对日志数据进行异常检测的需求也不断增加。一般来说，关于日志异常检测的异常检测算法的开发和维护，都需要针对不同的应用场景进行定制，即使是对于简单的应用场景，也需要重复投入技术人员对异常检测算法进行开发和维护，且由于计算机中的系统和应用程序变得更加复杂，因此，传统的对日志数据进行异常检测方法准确率偏低。

技术实现思路

1、本技术实施例公开了一种日志异常检测方法、装置、电子设备及存储介质，能够提高日志异常检测的准确性基效率。

2、本技术实施例公开一种日志异常检测方法，所述方法包括：

3、获取时间序列数据；所述时间序列数据包含多个时间信息以及每个所述时间信息对应的日志数据；

4、对所述时间序列数据进行特征提取，得到特征序列；所述特征序列包含所述多个时间信息以及每个时间信息对应的日志数据特征；

5、通过训练得到的异常检测模型中包含的至少一棵孤立树分别对所述特征序列进行异常检测，并根据各棵所述孤立树的异常检测结果，确定所述时间序列数据中包含的异常日志数据。

6、作为一种可选的实施方式，所述通过训练得到的异常检测模型中包含的至少一棵孤立树分别对所述特征序列进行异常检测，包括：

7、将所述特征序列输入训练得到的异常检测模型中的第一孤立树，通过所述第一孤立树根据每个所述时间信息对应的日志数据特征，对所述特征序列中包含的各个日志数据特征进行切分，得到各个所述日志数据特征的路径长度；所述第一孤立树为所述异常检测模型中任意一棵孤立树；

8、将各个所述日志数据特征的路径长度，作为所述第一孤立树对应的异常检测结果。

9、作为一种可选的实施方式，所述通过所述第一孤立树根据每个所述时间信息对应的日志数据特征，对所述特征序列中包含的各个日志数据特征进行切分，得到各个所述日志数据特征的路径长度，包括：

10、根据待切分的日志数据特征集合，确定所述待切分的日志数据特征集合对应的分类条件；

11、根据所述分类条件对所述待切分的日志数据特征集合中包含的多个日志数据特征进行切分，得到两个切分后的日志数据特征集合；

12、若切分后的日志数据特征集合包含多个日志数据特征，则将所述切换后的日志数据特征集合作为新的待切分的日志数据特征集合，并重新执行所述根据待切分的日志数据特征集合，确定所述待切分的日志数据特征集合对应的分类条件的步骤；

13、若切分后的日志数据特征集合包含一个日志数据特征，则不对所述切分后的日志数据特征集合再次进行切分。

14、作为一种可选的实施方式，所述根据各棵所述孤立树的异常检测结果，确定所述时间序列数据中包含的异常日志数据，包括：

15、根据各棵所述孤立树的异常检测结果，确定每个所述时间信息对应的日志数据特征的异常评分；

16、若第一时间信息对应的日志数据特征的异常评分大于预设的分数阈值，则确定所述第一时间信息对应的日志数据为异常日志数据；所述第一时间信息为所述多个时间信息中的任意一个时间信息。

17、作为一种可选的实施方式，所述第一时间信息包括第一时间段；在所述确定所述第一时间信息对应的日志数据为异常日志数据之后，所述方法还包括：

18、对所述第一时间段以及所述第一时间段对应的日志数据进行划分，得到至少两个子时间段以及各个所述子时间段对应的日志数据；

19、分别对各个所述子时间段对应的日志数据进行特征提取，得到所述第一时间段对应的子特征序列；所述子特征序列包括所述至少两个子时间段以及各个所述子时间段对应的日志数据特征；

20、通过所述异常检测模型包含的至少一棵孤立树分别对所述子特征序列进行异常检测，并根据各棵所述孤立树的异常检测结果，确定所述至少两个子时间段分别对应的日志数据中存在的异常日志数据。

21、作为一种可选的实施方式，所述根据各棵所述孤立树的异常检测结果，确定所述至少两个子时间段分别对应的日志数据中存在的异常日志数据，包括：

22、根据各棵所述孤立树的异常检测结果，确定各个所述子时间段对应的日志数据特征的异常评分；

23、获取异常评分大于预设的分数阈值的日志数据特征对应的目标子时间段；

24、若所述目标子时间段的时长大于时长阈值，则将所述目标子时间段作为新的第一时间段，继续执行所述对所述第一时间段以及所述第一时间段对应的日志数据进行划分，得到至少两个子时间段以及各个所述子时间段对应的日志数据的步骤；

25、若所述目标子时间段的时长不大于所述时长阈值，则确定所述目标子时间段对应的日志数据为异常日志数据。

26、作为一种可选的实施方式，在所述确定所述时间序列数据中包含的异常日志数据之后，所述方法还包括：

27、根据所述时间序列数据中包括的异常日志数据，生成所述时间序列数据对应的警告信息，并将所述警告信息发送至预设的终端设备。

28、本技术实施例公开一种日志异常检测装置，所述装置包括：

29、获取模块，用于获取时间序列数据；所述时间序列数据包含多个时间信息以及每个所述时间信息对应的日志数据；

30、特征提取模块，用于对所述时间序列数据进行特征提取，得到特征序列；所述特征序列包含所述多个时间信息以及每个时间信息对应的日志数据特征；

31、异常检测模块，用于通过训练得到的异常检测模型中包含的至少一棵孤立树分别对所述特征序列进行异常检测，并根据各棵所述孤立树的异常检测结果，确定所述时间序列数据中包含的异常日志数据。

32、本技术实施例公开一种电子设备，包括存储器及处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器实现本技术实施例公开的任意一种日志异常检测方法。

33、本技术实施例公开一种计算机可读存储介质，其存储计算机程序，其中，所述计算机程序被处理器执行时，实现本技术实施例公开的任意一种日志异常检测方法。

34、与相关技术相比，本技术实施例具有以下有益效果：

35、本技术实施例提供了一种日志异常检测方法、装置、电子设备及存储介质，获取时间序列数据；时间序列数据包含多个时间信息以及每个时间信息对应的日志数据；对时间序列数据进行特征提取，得到特征序列；特征序列包含多个时间信息以及每个时间信息对应的日志数据特征；通过训练得到的异常检测模型中包含的至少一棵孤立树分别对特征序列进行异常检测，并根据各棵孤立树的异常检测结果，确定时间序列数据中包含的异常日志数据。实施本技术实施例，通过对获取到的时间序列数据进行特征提取，以得到特征序列，通过训练得到的异常检测模型中包含的至少一棵孤立树分别对特征序列进行异常检测，并根据各棵孤立树的异常检测结果，确定时间序列数据中包含的异常日志数据，通过至少一颗孤立树分别对特征序列进行异常检测，得到至少一棵孤立树的异常检测结果，各个孤立树对特征序列进行异常检测的过程互不影响，因此，得到的至少一棵孤立树的异常检测结果相对独立，避免各个孤立树的异常检测结果相互影响，而导致确定时间序列数据中包含异常日志数据的准确性下降，通过根据各棵孤立树的异常检测结果，确定时间序列数据中包含的异常日志数据，能够提高日志异常检测的准确性及效率。