一种用于网络安全检测的日志处理方法和装置与流程

本发明涉及网络安全，特别是关于一种用于网络安全检测的日志处理方法和装置。

背景技术：

1、在当前的网络安全领域中，有效收集和分析网络安全类别的日志对于识别潜在威胁以及保障网络安全至关重要。然而，现有的方法往往受限于日志收集的效率和精确度，导致安全运营团队难以快速发现和应对安全事件，加大了网络安全风险。

技术实现思路

1、本发明的目的在于提供一种用于网络安全检测的日志处理方法和装置，来克服或至少减轻现有技术的上述缺陷中的至少一个。

2、为实现上述目的，本发明提供一种用于网络安全检测的日志处理方法，包括：

3、接收通过分布式采集器在网络的多个节点收集的用于网络安全检测的日志；

4、利用预定义规则识别日志中的字段并进行标准化处理；

5、若标准化处理成功，则向存储服务器发送处理后的日志；

6、若标准化处理失败，则通过日志标准化模型提取日志字段进行标准化处理，并向存储服务器发送处理后的日志；处理后的日志包括标准化的日志字段，用于进行网络安全检测。

7、优选的，标准化处理包括：日志字段的格式处理，包括格式化日志字段的下述信息中的一种或多种：协议类型、协议版本、系统编号、识别、社区id网络和dhcp信息。

8、优选的，标准化处理失败包括：利用预定义规则从日志中提取字段失败。

9、优选的，通过日志标准化模型提取日志字段进行标准化处理之前，还包括：训练日志标准化模型，包括：

10、对样本数据进行预处理，转换为日志标准化模型所要求的格式；

11、标记样本数据中的日志字段；

12、使用标记后的样本数据训练日志标准化模型。

13、优选的，标记样本数据中的日志字段包括：标记样本数据中的ip地址和url。

14、优选的，训练日志标准化模型还包括：

15、使用反向传播算法和梯度下降优化算法对日志标准化模型进行优化。

16、优选的，日志标准化模型为自然语言处理bert模型。

17、本发明还提供一种用于网络安全检测的日志处理装置，包括：

18、接收模块，用于接收通过分布式采集器在网络的多个节点收集的用于网络安全检测的日志；

19、处理模块，用于利用预定义规则对日志的字段进行标准化处理；若标准化处理成功，则向存储服务器发送处理后的日志；若标准化处理失败，则通过日志标准化模型提取日志字段进行标准化处理，并向存储服务器发送处理后的日志；处理后的日志包括标准化的日志字段，用于进行网络安全检测。

20、优选的，标准化处理包括：满足网络安全检测需求的日志字段的格式处理，包括格式化日志字段的下述信息中的一种或多种：协议类型、协议版本、系统编号、识别、社区id网络和dhcp信息。

21、优选的，该装置还包括：训练模块，用于训练日志标准化模型，包括：

22、对样本数据进行预处理，转换为日志标准化模型所要求的格式；

23、标记样本数据中的日志字段；

24、使用标记后的样本数据训练日志标准化模型。

25、本发明由于采取以上技术方案，其具有以下优点：

26、可收集任意格式日志进行统计的标准化呈现，采用日志标准化模型处理的方式，避免了传统日志手动写正则及调整的步骤，且输出统一格式日志的数据，可快捷进行态势感知和统计分析处理。

技术特征：

1.一种用于网络安全检测的日志处理方法，其特征在于，包括：

2.根据权利要求1所述的用于网络安全检测的日志处理方法，其特征在于，标准化处理包括：日志字段的格式处理，包括格式化日志字段的下述信息中的一种或多种：协议类型、协议版本、系统编号、识别、社区id网络和dhcp信息。

3.根据权利要求1所述的用于网络安全检测的日志处理方法，其特征在于，标准化处理失败包括：利用预定义规则从日志中提取字段失败。

4.根据权利要求1所述的用于网络安全检测的日志处理方法，其特征在于，通过日志标准化模型提取日志字段进行标准化处理之前，还包括：训练日志标准化模型，包括：

5.根据权利要求4所述的用于网络安全检测的日志处理方法，其特征在于，标记样本数据中的日志字段包括：标记样本数据中的ip地址和url。

6.根据权利要求4所述的用于网络安全检测的日志处理方法，其特征在于，训练日志标准化模型还包括：

7.根据权利要求1-6中任一项所述的用于网络安全检测的日志处理方法，其特征在于，日志标准化模型为自然语言处理bert模型。

8.一种用于网络安全检测的日志处理装置，其特征在于，包括：

9.根据权利要求8所述的用于网络安全检测的日志处理装置，其特征在于，标准化处理包括：满足网络安全检测需求的日志字段的格式处理，包括格式化日志字段的下述信息中的一种或多种：协议类型、协议版本、系统编号、识别、社区id网络和dhcp信息。

10.根据权利要求8所述的用于网络安全检测的日志处理装置，其特征在于，还包括：训练模块，用于训练日志标准化模型，包括：

技术总结
本发明公开了一种用于网络安全检测的日志处理方法和装置，该方法包括：接收通过分布式采集器在网络的多个节点收集的用于网络安全检测的日志；利用预定义规则识别日志中的字段并进行标准化处理；若标准化处理成功，则向存储服务器发送处理后的日志；若标准化处理失败，则通过日志标准化模型提取日志字段进行标准化处理，并向存储服务器发送处理后的日志；处理后的日志包括标准化的日志字段，用于进行网络安全检测。通过本发明的方案，可收集任意格式日志进行统计的标准化呈现，采用日志标准化模型处理的方式，避免了传统日志手动写正则及调整的步骤，且输出统一格式日志的数据，可快捷进行态势感知和统计分析处理。

技术研发人员：田新远
受保护的技术使用者：北京华清信安科技有限公司
技术研发日：
技术公布日：2024/3/11