一种日志过滤方法及装置与流程

1.本技术涉及主机安全技术领域，具体而言，涉及一种日志过滤方法及装置。


背景技术：

2.目前，主机安全产品在采集主机的行为日志时，同一个行为或相似的行为重复发生的频率比较高，会导致整个终端采集日志时会采集大量的重复或相似日志，进而造成资源浪费，并且大量重复日志会对控制台和检测引擎造成cpu繁忙、内存占用过高、磁盘io繁忙，造成主机安全产品的日志存储大量重复，数据质量较低。


技术实现要素：

3.本技术实施例的目的在于提供一种日志过滤方法及装置，能够减少日志的重复上报，产生更多的有价值日志，从而提升检测能力，并有效的避免了漏报情况的发生。
4.本技术实施例第一方面提供了一种日志过滤方法，包括：获取原始行为日志；对所述原始行为日志进行填充处理，得到预期行为日志；根据所述预期行为日志创建行为进程链；根据所述行为进程链生成行为日志数据；根据所述行为日志数据和预设过滤规则动态生成行为日志过滤规则；将所述行为日志过滤规则应用于服务端和终端，以使所述服务端和所述终端基于所述行为日志过滤规则进行日志过滤。
5.在上述实现过程中，该方法可以优先获取原始行为日志，然后按照预设的规则为该原始行为日志填充相关的信息，以使该原始行为日志可以组装成一条条预期行为日志。然后，该方法再基于预期行为日志创建行为进程链，并经过统计与合并得到行为日志过滤规则，从而使得该行为日志过滤规则可以用于各种终端，以使终端能够更有效的对日志进行检测与上报，进而实现对检测能力的提高，并且还有利于减少对日志漏报情况的发生。
6.进一步地，所述获取原始行为日志，包括：监听主机行为事件；其中，所述主机行为事件包括进程行为事件、网络行为事件、文件行为事件中的一种或者多种；根据所述主机行为事件和预设的采集规则获取原始行为日志。
7.进一步地，所述对所述原始行为日志进行填充处理，得到预期行为日志，包括：获取填充信息；其中，所述填充数据包括主机基本信息、进程信息、填充文件信息、行为日志分类信息、行为进程链信息中的一种或者多种；根据所述填充信息对所述原始行为日志进行填充处理，得到预期行为日志。
8.进一步地，所述根据所述预期行为日志创建行为进程链，包括：对所述预期行为日志进行信息提取，得到目标提取信息；根据所述目标提取信息计算行为进程链节点标识；
根据所述目标提取信息创建节点与边之间的关系信息；根据所述关系信息和所述进程链节点标识创建行为进程链。
9.进一步地，所述根据所述行为进程链生成行为日志数据，包括：获取当前行为日志；计算所述当前行为日志的进程链标识和相似值；根据所述进程链标识和所述行为进程链获取所述当前行为日志相匹配的日志数据集合；根据所述相似值对所述日志数据集合进行筛选，得到行为日志数据。
10.进一步地，所述根据所述行为日志数据和预设过滤规则动态生成行为日志过滤规则，包括：获取相似日志统计次数；根据预设时间段、预设重复次数、基于日志重要程度组合的预设过滤条件和所述相似日志统计次数，动态生成每一类行为日志的过滤规则；将所述过滤规则进行分类标记，得到标记好的行为日志过滤规则。
11.本技术实施例第二方面提供了一种日志过滤装置，所述日志过滤装置包括：获取单元，用于获取原始行为日志；处理单元，用于对所述原始行为日志进行填充处理，得到预期行为日志；创建单元，用于根据所述预期行为日志创建行为进程链；第一生成单元，用于根据所述行为进程链生成行为日志数据；第二生成单元，用于根据所述行为日志数据和预设过滤规则动态生成行为日志过滤规则；应用单元，用于将所述行为日志过滤规则应用于服务端和终端，以使所述服务端和所述终端基于所述行为日志过滤规则进行日志过滤。
12.在上述实现过程中，该装置可以通过获取单元获取原始行为日志；通过处理单元对原始行为日志进行填充处理，得到预期行为日志；通过创建单元来根据预期行为日志创建行为进程链；通过第一生成单元来根据行为进程链生成行为日志数据；通过第二生成单元来根据行为日志数据和预设过滤规则动态生成行为日志过滤规则；再通过应用单元将行为日志过滤规则应用于服务端和终端，以使服务端和终端基于行为日志过滤规则进行日志过滤。可见，该装置能够减少日志的重复上报，产生更多的有价值日志，从而提升检测能力，并有效的避免了漏报情况的发生。
13.进一步地，所述获取单元包括：鉴定子单元，用于监听主机行为事件；其中，所述主机行为事件包括进程行为事件、网络行为事件、文件行为事件中的一种或者多种；采集子单元，用于根据所述主机行为事件和预设的采集规则获取原始行为日志。
14.进一步地，所述处理单元包括：第一获取子单元，用于获取填充信息；其中，所述填充数据包括主机基本信息、进程信息、填充文件信息、行为日志分类信息、行为进程链信息中的一种或者多种；填充子单元，用于根据所述填充信息对所述原始行为日志进行填充处理，得到预期行为日志。
15.进一步地，所述创建单元包括：提取子单元，用于对所述预期行为日志进行信息提取，得到目标提取信息；第一计算子单元，用于根据所述目标提取信息计算行为进程链节点标识；创建子单元，用于根据所述目标提取信息创建节点与边之间的关系信息；所述创建子单元，还用于根据所述关系信息和所述进程链节点标识创建行为进程链。
16.进一步地，所述第一生成单元包括：第二获取子单元，用于获取当前行为日志；第二计算子单元，用于计算所述当前行为日志的进程链标识和相似值；所述第二获取子单元，还用于根据所述进程链标识和所述行为进程链获取所述当前行为日志相匹配的日志数据集合；筛选子单元，用于根据所述相似值对所述日志数据集合进行筛选，得到行为日志数据。
17.进一步地，所述第二生成单元包括：第三获取子单元，用于获取相似日志统计次数；生成子单元，用于根据预设时间段、预设重复次数、基于日志重要程度组合的预设过滤条件和所述相似日志统计次数，动态生成每一类行为日志的过滤规则；分类子单元，用于将所述过滤规则进行分类标记，得到标记好的行为日志过滤规则。
18.本技术实施例第三方面提供了一种电子设备，包括存储器以及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行本技术实施例第一方面中任一项所述的日志过滤方法。
19.本技术实施例第四方面提供了一种计算机可读存储介质，其存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行本技术实施例第一方面中任一项所述的日志过滤方法。
附图说明
20.为了更清楚地说明本技术实施例的技术方案，下面将对本技术实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
21.图1为本技术实施例提供的一种日志过滤方法的流程示意图；图2为本技术实施例提供的一种日志过滤装置的结构示意图；图3为本技术实施例提供的一种日志过滤方法的思维导图。
具体实施方式
22.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行描述。
23.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本技术的
描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
24.实施例1请参看图1，图1为本实施例提供了一种日志过滤方法的流程示意图。其中，该日志过滤方法包括：s101、监听主机行为事件；其中，主机行为事件包括进程行为事件、网络行为事件、文件行为事件中的一种或者多种。
25.s102、根据主机行为事件和预设的采集规则获取原始行为日志。
26.s103、获取填充信息；其中，填充数据包括主机基本信息、进程信息、填充文件信息、行为日志分类信息、行为进程链信息中的一种或者多种。
27.s104、根据填充信息对原始行为日志进行填充处理，得到预期行为日志。
28.本实施例中，该方法可以监听进程行为事件、网络行为事件、文件行为事件，并根据不同的行为按照一定的规则采集并填充相关的信息，组装成一条条原始行为日志。其中，上述过程可以10秒执行一次，并同时依次上报到控制台。
29.在本实施例中，当控制台接收到原始行为日志信息时，可以通过数据治理模块填充并二次加工，形成一条条符合预期的行为日志。其中，数据治理模块填充并二次加工的信息如下：（1）填充主机基本信息：填充终端ip、终端操作系统、终端版本；（2）填充进程信息：填充进程id、进程的名称、父进程id、父进程名称；（3）填充文件信息：填充文件sha256、文件md5；（4）填充分类信息：填充行为日志类别信息、行为日志重要程度；（5）填充行为进程链信息：填充所属行为进程链的标识、当前节点的标识、父节点的标识。
30.s105、对预期行为日志进行信息提取，得到目标提取信息。
31.本实施例中，目标提取信息包括主机标识、主机ip、进程标识、进程名称、进程命令行、父进程标识、父进程名称、进程文件路径、进程文件sha256、日志行为、目标文件路径、目标文件sha256、目标域名、目标ip中的一种或者多种。
32.s106、根据目标提取信息计算行为进程链节点标识。
33.作为一种可选的实施方式，根据目标提取信息计算行为进程链节点标识的步骤包括：根据目标提取信息进行排序计算，得到行为进程链节点标识。
34.s107、根据目标提取信息创建节点与边之间的关系信息。
35.s108、根据关系信息和进程链节点标识创建行为进程链。
36.本实施例中，该方法创建行为进程链的过程可以举例如下：（1）提取行为日志中的主机id、主机ip、进程id、进程名称、进程命令行、父进程id、父进程名称、进程文件路径、进程文件sha256、日志行为、目标文件路径、目标文件sha256、目标域名、目标ip；（2）计算节点id：将提取出来的信息按照一定的规则排序计算md5得到行为进程链节点id；（3）根据提取的信息创建节点和边关系信息，根据节点id将本次节点和边关联起
来，然后基于图数据库来存储数据，完成行为进程链的创建。
37.s109、获取当前行为日志。
38.s110、计算当前行为日志的进程链标识和相似值。
39.作为一种可选的实施方式，计算当前行为日志的进程链标识和相似值的步骤包括：抽取当前行为日志的核心固定字段；其中，核心固定字段包括主机标识、主机ip、进程文件md5、进程命令行、父进程文件md5、父进程命令行、目标文件md5中的一种或者多种；根据核心固定字段计算出当前行为日志对应的进程链标识；抽取当前行为日志的相似值计算字段；其中，相似值计算字段包括进程文件名称、父进程文件名称、进程文件路径、父进程文件路径、进程标识、父进程标识中的一种或者多种；根据预设算法和相似值计算字段计算当前行为日志的相似值。
40.s111、根据进程链标识和行为进程链获取当前行为日志相匹配的日志数据集合。
41.s112、根据相似值对日志数据集合进行筛选，得到行为日志数据。
42.本实施例中，该方法可以基于行为进程链寻找相似或相同的行为日志进行次数统计和合并得到行为日志数据（分布趋势）。举例如下：（1）抽取核心固定字段：主机id、主机ip、进程文件md5、进程命令行、父进程文件md5、父进程命令行、目标文件md5；（2）根据核心固定字段按照指定顺序排序，计算出当前日志的进程链标识id；（3）抽取相似值计算字段：进程文件名称、父进程文件名称、进程文件路径、父进程文件路径、进程id、父进程id；（4）根据预设算法结合相似值计算字段计算出行为日志的相似值；（5）根据进程链标识id，结合行为进程链，匹配当前行为日志相似或者相同的行为日志数据；（6）根据相似值字段计算出相似值，相似值在预设范围之内的日志数据进程合并。
43.s113、获取相似日志统计次数。
44.s114、根据预设时间段、预设重复次数、基于日志重要程度组合的预设过滤条件和相似日志统计次数，动态生成每一类行为日志的过滤规则。
45.s115、将过滤规则进行分类标记，得到标记好的行为日志过滤规则。
46.本实施例中，该方法可以动态生成日志过滤规则：基于时间段（比如：每10分钟，每小时）、重复次数、日志重要程度组合的预设过滤条件，结合相似日志统计次数，动态生成每一类行为日志的过滤规则。
47.在本实施例中，该方法可以定期将生成的过滤规则下发到服务端或者终端应用，基于行为日志数据以及预定的过滤算法生成相关的日志过滤规则。其中，根据系统预先设定的编排流程，每条行为日志将会经历行为日志过滤器和动态规则生成器；每条行为日志根据不同的类型和行为日志重要程度，选择相应的行为日志过滤器以及动态规则生成器。
48.在本实施例中，行为日志过滤器用于结合当前主机行为日志统计的次数和预设条件（指定的时间端内日志只保留多少条），动态判断当前行为日志是否应该被过滤；
在本实施例中，动态规则生成器用于根据行为进程链统计行为日志的次数以及行为进程链构建程度，结合机器学习分析并预测主机趋势等数据。
49.在本实施例中，该方法还可以将动态生成的行为日志过滤规则分类标记，然后集中存储，等待行为日志过滤规则分发器分发；然后，通过行为日志过滤规则分发器定时扫描可下发的动态生成的行为日志过滤规则，并按照规则应用的目标分发到不同的渠道。
50.s116、将行为日志过滤规则应用于服务端和终端，以使服务端和终端基于行为日志过滤规则进行日志过滤。
51.本实施例中，当行为日志过滤规则应用于服务端时，服务端可以通过数据治理服务监听行为日志过滤规则分发器渠道；数据治理服务可以接收属于服务端的行为日志过滤规则；数据治理服务还可以将行为日志过滤规则推送到日志数据处理模块；以使日志数据处理模块加载行为日志过滤规则，根据行为日志规则开始选择性的过滤行为日志。
52.本实施例中，当行为日志过滤规则应用于终端时，终端可以通过数据治理服务监听行为日志过滤规则分发器渠道；终端可以通过数据治理服务接收属于终端的行为日志过滤规则；终端可以通过数据治理服务将行为日志过滤规则转换为任务推送到任务调度系统；终端可以通过任务调度系统生成一条条的终端任务分发到任务处理器；终端可以通过终端指令任务处理器接收任务，然后将其转换为终端指令，存储到待拉取的终端指令队列中，等待终端拉取；终端还可以通过心跳（每10秒一次）拉取行为日志过滤规则；最后，终端还可以加载行为日志过滤规则，根据行为日志规则开始选择性的过滤行为日志本实施例中，该方法侧重于行为日志过滤，可以应用于edr产品，edr采用的是终端采集行为日志，上报到控制台，控制台分析、存储、展示相关的行为日志以及行为日志产生的告警。
53.请参看图3，图3示出了一种日志过滤方法的思维导图，基于该思维导图可以对本方法进行更充分的了解。对此，可以参照本实施例中的具体描述。
54.可见，该方法能够基于行为进程链找到相似或者相同的行为日志，然后统计行为日志次数和趋势，再结合机器学习动态分析行为日志重要程度，然后动态生成行为日志过滤规则，最后将行为日志过滤规则应用于服务端或者终端，从而达到过滤行为日志的目的。
55.本实施例中，该方法的执行主体可以为计算机、服务器等计算装置，对此本实施例中不作任何限定。
56.在本实施例中，该方法的执行主体还可以为智能手机、平板电脑等智能设备，对此本实施例中不作任何限定。
57.可见，实施本实施例所描述的日志过滤方法，能够基于行为进程链找到相似或者相同的行为日志，然后统计行为日志次数和趋势，再结合机器学习动态分析行为日志重要程度，动态生成行为日志过滤规则，最后将行为日志过滤规则应用于服务端或者终端，从而实现过滤行为日志的效果。
58.实施例2请参看图2，图2为本实施例提供的一种日志过滤装置的结构示意图。如图2所示，该日志过滤装置包括：获取单元210，用于获取原始行为日志；处理单元220，用于对原始行为日志进行填充处理，得到预期行为日志；
创建单元230，用于根据预期行为日志创建行为进程链；第一生成单元240，用于根据行为进程链生成行为日志数据；第二生成单元250，用于根据行为日志数据和预设过滤规则动态生成行为日志过滤规则；应用单元260，用于将行为日志过滤规则应用于服务端和终端，以使服务端和终端基于行为日志过滤规则进行日志过滤。
59.作为一种可选的实施方式，获取单元210包括：鉴定子单元211，用于监听主机行为事件；其中，主机行为事件包括进程行为事件、网络行为事件、文件行为事件中的一种或者多种；采集子单元212，用于根据主机行为事件和预设的采集规则获取原始行为日志。
60.作为一种可选的实施方式，处理单元220包括：第一获取子单元221，用于获取填充信息；其中，填充数据包括主机基本信息、进程信息、填充文件信息、行为日志分类信息、行为进程链信息中的一种或者多种；填充子单元222，用于根据填充信息对原始行为日志进行填充处理，得到预期行为日志。
61.作为一种可选的实施方式，创建单元230包括：提取子单元231，用于对预期行为日志进行信息提取，得到目标提取信息；第一计算子单元232，用于根据目标提取信息计算行为进程链节点标识；创建子单元233，用于根据目标提取信息创建节点与边之间的关系信息；创建子单元233，还用于根据关系信息和进程链节点标识创建行为进程链。
62.作为一种可选的实施方式，第一生成单元240包括：第二获取子单元241，用于获取当前行为日志；第二计算子单元242，用于计算当前行为日志的进程链标识和相似值；第二获取子单元241，还用于根据进程链标识和行为进程链获取当前行为日志相匹配的日志数据集合；筛选子单元243，用于根据相似值对日志数据集合进行筛选，得到行为日志数据。
63.作为一种可选的实施方式，第二生成单元250包括：第三获取子单元251，用于获取相似日志统计次数；生成子单元252，用于根据预设时间段、预设重复次数、基于日志重要程度组合的预设过滤条件和相似日志统计次数，动态生成每一类行为日志的过滤规则；分类子单元253，用于将过滤规则进行分类标记，得到标记好的行为日志过滤规则。
64.本技术实施例中，对于日志过滤装置的解释说明可以参照实施例1中的描述，对此本实施例中不再多加赘述。
65.可见，实施本实施例所描述的日志过滤装置，能够基于行为进程链找到相似或者相同的行为日志，然后统计行为日志次数和趋势，再结合机器学习动态分析行为日志重要程度，动态生成行为日志过滤规则，最后将行为日志过滤规则应用于服务端或者终端，从而实现过滤行为日志的效果。
66.本技术实施例提供了一种电子设备，包括存储器以及处理器，所述存储器用于存
储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行本技术实施例1中的日志过滤方法。
67.本技术实施例提供了一种计算机可读存储介质，其存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行本技术实施例1中的日志过滤方法。
68.在本技术所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本技术的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
69.另外，在本技术各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
70.所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器（rom，read-only memory）、随机存取存储器（ram，random access memory）、磁碟或者光盘等各种可以存储程序代码的介质。
71.以上所述仅为本技术的实施例而已，并不用于限制本技术的保护范围，对于本领域的技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
72.以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应所述以权利要求的保护范围为准。
73.需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。