用于安全分析的实时行为安全基线数据降噪方法及装置与流程

1.本发明涉及网络安全技术领域，尤其涉及一种用于安全分析的实时行为安全基线数据降噪方法及装置。


背景技术：

2.随着技术的发展和知识的扩散，网络攻击方法和数量也随之大幅增加，各种新攻击手段层出不穷，给安全分析人员和产品带来了很大的挑战和压力。传统的安全分析和检测手段是基于先验知识，采用特征的方式来对网络数据和日志进行安全检测，这种方式可以应对已知攻击方法，但对未知和新的攻击方法的检测效率低，无法适应当前严峻的网络安全态势。近年来随着机器学习的发展和实时计算框架的兴起，基于行为的安全分析方法开始越来越多的应用于各类安全产品中。
3.相关技术中，基于行为的安全分析方法采用机器学习的方法，通过对网络数据和日志进行学习，统计和归纳出用户和实体的行为特点，通过学习出的行为安全基线，能很好的用于异常行为分析和检测，完成很多基于特征的方式无法达到的效果。但是，行为安全基线学习的数据中存在数据噪音，这就使得行为安全基线学习数据的准确性较低，导致行为安全基线计算的误报和错误率较高。


技术实现要素：

4.本发明提供一种用于安全分析的实时行为安全基线数据降噪方法及装置。
5.本发明提供一种用于安全分析的实时行为安全基线数据降噪方法，所述方法包括：
6.获取待降噪行为数据集；其中，所述待降噪行为数据集中包括至少一条行为数据；
7.根据数据降噪策略对所述待降噪行为数据集中每个行为数据进行数据降噪，得到降噪行为数据集。
8.根据本发明提供的一种用于安全分析的实时行为安全基线数据降噪方法，所述数据降噪策略，包括以下至少一项：
9.第一策略，用于表示将行为数据对应的待降噪数据与当前周期行为数据集进行对比；
10.第二策略，用于表示将行为数据对应的待降噪数据与上一个周期行为数据集进行对比；
11.第三策略，用于表示将行为数据对应的待降噪数据值与第一表达式进行对比。
12.根据本发明提供的一种用于安全分析的实时行为安全基线数据降噪方法，所述根据数据降噪策略对所述待降噪行为数据集中每个行为数据进行数据降噪，得到降噪行为数据集，包括：
13.在所述数据降噪策略包括所述第一策略的情况下，根据所述待降噪行为数据集计算当前周期数据降噪模型；
14.遍历所述待降噪行为数据集中所有行为数据，对于每一条行为数据执行第二表达式计算待降噪数据值，将计算得到的待降噪数据值与所述当前周期数据降噪模型进行计算，当计算结果表示当前行为数据不是噪音时，将所述当前行为数据保存至所述降噪行为数据集。
15.根据本发明提供的一种用于安全分析的实时行为安全基线数据降噪方法，所述根据数据降噪策略对所述待降噪行为数据集中每个行为数据进行数据降噪，得到降噪行为数据集，包括：
16.在所述数据降噪策略包括所述第二策略的情况下，根据所述待降噪行为数据集计算当前周期数据降噪模型；
17.判断是否存在上一个周期数据降噪模型；
18.当存在上一个周期数据降噪模型时，遍历所述待降噪行为数据集中所有行为数据，对于每一条行为数据执行第二表达式计算待降噪数据值，将计算得到的待降噪数据值与上一个周期数据降噪模型进行计算，当计算结果表示当前行为数据不是噪音时，将所述当前行为数据保存至所述降噪行为数据集；
19.当不存在上一个周期数据降噪模型时，遍历所述待降噪行为数据集中所有行为数据，对于每一条行为数据执行第二表达式计算待降噪数据值，将计算得到的待降噪数据值与当前周期数据降噪模型进行计算，当计算结果表示当前行为数据不是噪音时，将所述当前行为数据保存至所述降噪行为数据集。
20.根据本发明提供的一种用于安全分析的实时行为安全基线数据降噪方法，所述根据数据降噪策略对所述待降噪行为数据集中每个行为数据进行数据降噪，得到降噪行为数据集，包括：
21.遍历所述待降噪行为数据集中所有行为数据，对于每一条行为数据执行第二表达式计算待降噪数据值，将计算得到的待降噪数据值输入至所述第一表达式进行布尔计算，当计算结果表示当前行为数据不是噪音时，将所述当前行为数据保存至所述降噪行为数据集。
22.根据本发明提供的一种用于安全分析的实时行为安全基线数据降噪方法，所述根据所述待降噪行为数据集计算当前周期数据降噪模型，包括：
23.在所述待降噪行为数据集中行为数据为数值数据的情况下，遍历所述待降噪行为数据集中所有行为数据，对于每一条行为数据执行第二表达式计算待降噪数据值，将计算得到的待降噪数据值保存至降噪行为数据值集；计算所述降噪行为数据值集的平均值和标准差；根据数据噪音值概率确定距离值；根据所述平均值、所述标准差和所述距离值，确定非噪音数据最小值和非噪音数据最大值。
24.根据本发明提供的一种用于安全分析的实时行为安全基线数据降噪方法，所述根据所述待降噪行为数据集计算当前周期数据降噪模型，包括：
25.在所述待降噪行为数据集中行为数据为非数值数据的情况下，遍历所述待降噪行为数据集中所有行为数据，对于每一条行为数据执行第二表达式计算待降噪数据值，将计算得到的待降噪数据值保存至降噪行为数据值集；
26.遍历所述降噪行为数据值集，对于每一条待降噪数据值，在值频次表frequencymap中查询待降噪数据值是否存在；如果不存在则将一条记录《待降噪数据值，1》
保存到frequencymap中；如果存在则更新frequencymap中《待降噪数据值，频次值》为《待降噪数据值，频次值+1》；
27.遍历frequencymap，对于frequencymap中每条《待降噪数据值，频次值》记录，在临时表tmpmap中查询《频次值》是否存在；如果不存在则将《频次值，数量＝频次值》保存到tmpmap中；如果存在则更新tmpmap中《频次值，数量》为《频次值，数量+频次值》；
28.根据所述降噪行为数据值集中待降噪数据值数量和噪音值概率，确定待降噪数据值门限；获取变量datacount的初始值，将tmpmap按照记录《频次值，数量》中频次值从大到小排序；遍历tmpmap表，对于表中每条《频次值，数量》记录，判断datacount是否大于或等于所述待降噪数据值门限；如果是则设置非噪音数据最小频次minfrequency＝记录《频次值，数量》中频次值；如果不是则更新datacount＝datacount+记录《频次值，数量》中数量值，及判断更新后的datacount是否大于或等于所述待降噪数据值门限。
29.本发明还提供一种用于安全分析的实时行为安全基线数据降噪装置，所述装置包括：
30.获取模块，用于获取待降噪行为数据集；其中，所述待降噪行为数据集中包括至少一条行为数据；
31.数据降噪模块，用于根据数据降噪策略对所述待降噪行为数据集中每个行为数据进行数据降噪，得到降噪行为数据集。
32.本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述用于安全分析的实时行为安全基线数据降噪方法的步骤。
33.本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述用于安全分析的实时行为安全基线数据降噪方法的步骤。
34.本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述用于安全分析的实时行为安全基线数据降噪方法的步骤。
35.本发明提供的用于安全分析的实时行为安全基线数据降噪方法，通过获取待降噪行为数据集，根据数据降噪策略对所述待降噪行为数据集中每个行为数据进行数据降噪，以得到降噪行为数据集，实现对行为安全基线学习的数据进行数据噪音消除，能够提高行为安全基线学习数据的准确性，降低行为安全基线计算的误报和错误率。
附图说明
36.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
37.图1是本发明提供的用于安全分析的实时行为安全基线数据降噪方法的流程示意图之一；
38.图2是本发明提供的用于安全分析的实时行为安全基线数据降噪方法的流程示意图之二；
39.图3是本发明提供的数据降噪计算器计算流程示意图；
40.图4是本发明提供的数据降噪模型计算器的计算流程示意图；
41.图5是本发明提供的数值数据降噪模型构建流程示意图；
42.图6是本发明提供的数值数据降噪模型降噪计算流程示意图；
43.图7是本发明提供的非数值数据降噪模型构建流程示意图；
44.图8是本发明提供的非数值数据降噪模型降噪计算流程示意图；
45.图9为本发明提供的用于安全分析的实时行为安全基线数据降噪装置的结构示意图；
46.图10是本发明提供的电子设备的结构示意图。
具体实施方式
47.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
48.下面结合附图，通过一些实施例及其应用场景对本发明提供的用于安全分析的实时行为安全基线数据降噪方法进行详细地说明。
49.本发明提供一种用于安全分析的实时行为安全基线数据降噪方法，该用于安全分析的实时行为安全基线数据降噪方法可适用于应对网络攻击的安全分析和检测的场景中，通过获取待降噪行为数据集，根据数据降噪策略对所述待降噪行为数据集中每个行为数据进行数据降噪，以得到降噪行为数据集，实现对行为安全基线学习的数据进行数据噪音消除，能够提高行为安全基线学习数据的准确性，降低行为安全基线计算的误报和错误率。
50.图1是本发明提供的用于安全分析的实时行为安全基线数据降噪方法的流程示意图，如图1所示，该方法包括步骤101-步骤102，其中：
51.步骤101，获取待降噪行为数据集；其中，所述待降噪行为数据集中包括至少一条行为数据；
52.步骤102，根据数据降噪策略对所述待降噪行为数据集中每个行为数据进行数据降噪，得到降噪行为数据集。
53.需要说明的是，本发明提供的用于安全分析的实时行为安全基线数据降噪方法可适用于应对网络攻击的安全分析和检测的场景中。该方法的执行主体可以为用于安全分析的实时行为安全基线数据降噪装置，例如电子设备、或者该用于安全分析的实时行为安全基线数据降噪装置中的用于执行用于安全分析的实时行为安全基线数据降噪方法的控制模块。电子设备可以包括手机、平板电脑或台式计算机。
54.本发明提供的用于安全分析的实时行为安全基线数据降噪方法，通过获取待降噪行为数据集，根据数据降噪策略对所述待降噪行为数据集中每个行为数据进行数据降噪，以得到降噪行为数据集，实现对行为安全基线学习的数据进行数据噪音消除，能够提高行为安全基线学习数据的准确性，降低行为安全基线计算的误报和错误率。
55.可选地，本发明提供了行为安全基线数据降噪参数；具体地，行为安全基线数据降噪参数包括以下至少一项：
56.1)待降噪数据(data)
57.定义待降噪数据获取方式，通过第二表达式(即参数data计算表达式)从输入的行为数据中计算出待降噪数据。举例如下：data＝fields[“网站每分钟用户访问数量”]。
[0058]
2)降噪数据类型(type)
[0059]
定义待降噪数据的数据类型，type＝“number”表示待降噪数据为数值类型；type＝“other”表示待降噪数据为非数值类型。
[0060]
3)数据降噪策略(strategy)
[0061]
实际中，数据降噪策略可以包括以下至少一项：
[0062]
(a)第一策略，用于表示将行为数据对应的待降噪数据与当前周期行为数据集进行对比。
[0063]
具体地，第一策略可以记为strategy＝“current”，表示基于第一策略将待降噪数据与当前周期行为数据集对应的当前周期数据降噪模型进行对比，以判断行为数据是否为噪音。实际中，行为数据可以包括网络数据和/或日志等。
[0064]
(b)第二策略，用于表示将行为数据对应的待降噪数据与上一个周期行为数据集进行对比。
[0065]
具体地，第二策略可以记为strategy＝“prev”，表示基于第二策略将待降噪数据与上一个周期行为数据集对应的上一个周期数据降噪模型进行对比，以判断行为数据是否为噪音。
[0066]
(c)第三策略，用于表示将行为数据对应的待降噪数据值与第一表达式进行对比。
[0067]
具体地，第三策略可以记为strategy＝“expression”，表示采用第一表达式(即参数expression布尔计算表达式)，也即指定的降噪计算方法进行数据降噪，此时需要指定数据降噪指定方法(expression)参数。
[0068]
4)数据降噪指定方法(expression)
[0069]
当strategy＝“expression”时需要指定数据降噪计算方法，使用示例：expression＝fields[“网站每分钟用户访问数量”]》100，表示当输入的待降噪行为数据中字段值fields[“网站每分钟用户访问数量”]》100时，认定输入的待降噪行为数据是噪音数据。
[0070]
5)数据噪音概率(probability)
[0071]
定义数据噪音值概率，表示数据集中噪音出现概率，值越大噪音概率越高，值越小噪音概率越小。0《数据噪音概率《＝1。当strategy＝“current/prev”需要指定该参数。
[0072]
使用示例：denoise(data＝fields[“网站每分钟用户访问数量”]，type＝“number”，strategy＝“current”)，表示对输入的的待降噪行为数据进行数据降噪，降噪数据为字段值“网站每分钟用户访问数量”，待降噪数据类型为数值，数据降噪策略为与当前周期数据集进行对比。
[0073]
下面基于行为安全基线数据降噪参数，对本发明提供的根据数据降噪策略对所述待降噪行为数据集中每个行为数据进行数据降噪的实现方式进行说明。
[0074]
根据数据降噪策略对所述待降噪行为数据集中每个行为数据进行数据降噪，得到降噪行为数据集的实现方式可以包括以下至少一项：
[0075]
方式1、在所述数据降噪策略包括所述第一策略的情况下，根据所述待降噪行为数
据集计算当前周期数据降噪模型；遍历所述待降噪行为数据集中所有行为数据，对于每一条行为数据执行第二表达式计算待降噪数据值，将计算得到的待降噪数据值与所述当前周期数据降噪模型进行计算，当计算结果表示当前行为数据不是噪音时，将所述当前行为数据保存至所述降噪行为数据集。可选地，对当前周期数据降噪模型进行保存。
[0076]
方式2、在所述数据降噪策略包括所述第二策略的情况下，根据所述待降噪行为数据集计算当前周期数据降噪模型；判断是否存在上一个周期数据降噪模型：
[0077]
当存在上一个周期数据降噪模型时，遍历所述待降噪行为数据集中所有行为数据，对于每一条行为数据执行第二表达式计算待降噪数据值，将计算得到的待降噪数据值与上一个周期数据降噪模型进行计算，当计算结果表示当前行为数据不是噪音时，将所述当前行为数据保存至所述降噪行为数据集；
[0078]
或者，当不存在上一个周期数据降噪模型时，遍历所述待降噪行为数据集中所有行为数据，对于每一条行为数据执行第二表达式计算待降噪数据值，将计算得到的待降噪数据值与当前周期数据降噪模型进行计算，当计算结果表示当前行为数据不是噪音时，将所述当前行为数据保存至所述降噪行为数据集。可选地，对当前周期数据降噪模型进行保存。
[0079]
方式3、在所述数据降噪策略包括所述第三策略的情况下，遍历所述待降噪行为数据集中所有行为数据，对于每一条行为数据执行第二表达式计算待降噪数据值，将计算得到的待降噪数据值输入至所述第一表达式进行布尔计算，当计算结果表示当前行为数据不是噪音时，将所述当前行为数据保存至所述降噪行为数据集。
[0080]
本发明方式1和方式2中所述的根据所述待降噪行为数据集计算当前周期数据降噪模型的实现方式可以包括以下至少一项：
[0081]
1)在所述待降噪行为数据集中行为数据为数值数据的情况下，遍历所述待降噪行为数据集中所有行为数据，对于每一条行为数据执行第二表达式计算待降噪数据值，将计算得到的待降噪数据值保存至降噪行为数据值集；计算所述降噪行为数据值集的平均值和标准差；根据数据噪音值概率确定距离值；根据所述平均值、所述标准差和所述距离值，确定非噪音数据最小值和非噪音数据最大值。
[0082]
2)在所述待降噪行为数据集中行为数据为非数值数据的情况下，遍历所述待降噪行为数据集中所有行为数据，对于每一条行为数据执行第二表达式计算待降噪数据值，将计算得到的待降噪数据值保存至降噪行为数据值集；
[0083]
遍历所述降噪行为数据值集，对于每一条待降噪数据值，在值频次表(frequencymap)中查询待降噪数据值是否存在；如果不存在则将一条记录《待降噪数据值，1》保存到frequencymap中；如果存在则更新frequencymap中《待降噪数据值，频次值》为《待降噪数据值，频次值+1》；遍历frequencymap，对于frequencymap中每条《待降噪数据值，频次值》记录，在临时表(tmpmap)中查询《频次值》是否存在；如果不存在则将《频次值，数量＝频次值》保存到tmpmap中；如果存在则更新tmpmap中《频次值，数量》为《频次值，数量+频次值》；
[0084]
根据所述降噪行为数据值集中待降噪数据值数量和噪音值概率，确定待降噪数据值门限(nonnoisedatathreshold)；获取变量datacount的初始值，将tmpmap按照记录《频次值，数量》中频次值从大到小排序；遍历tmpmap表，对于表中每条《频次值，数量》记录，判断
datacount是否大于或等于所述待降噪数据值门限；如果是则设置非噪音数据最小频次minfrequency＝记录《频次值，数量》中频次值；如果不是则更新datacount＝datacount+记录《频次值，数量》中数量值，及判断更新后的datacount是否大于或等于所述待降噪数据值门限。
[0085]
本发明中数据降噪流程参见图2，图2是本发明提供的数据降噪流程示意图，数据降噪流程包括步骤201-步骤203，其中：
[0086]
步骤201，输入《待降噪行为数据集》；
[0087]
步骤202，采用数据降噪计算器根据配置的参数来对输入的《待降噪行为数据集》进行数据降噪；
[0088]
步骤203，将计算结果《降噪行为数据集》输出到下级计算器。
[0089]
这里，结合附图对数据降噪计算器的计算方法进行说明。
[0090]
数据降噪计算器涉及的变量为：上一个周期数据降噪模型(prevmodel)；变量prevmodel的定义为：保存上一个周期的数据降噪模型。当strategy＝“prev”时使用变量prevmodel。
[0091]
图3是本发明提供的数据降噪计算器计算流程示意图，如图3所示，包括步骤301-步骤311，其中：
[0092]
步骤301，输入《待降噪行为数据集》；
[0093]
步骤302，判断参数strategy＝＝“expression”？如是则执行步骤303，如果不是则执行步骤304；
[0094]
步骤303，遍历《待降噪行为数据集》所有行为数据，每一条行为数据执行参数data计算表达式计算待降噪值，然后将计算的待降噪值输入参数expression布尔计算表达式，如果expression参数布尔计算表达式计算结果为true，则将当前行为数据加入《降噪行为数据集》，遍历完成后执行步骤311；
[0095]
步骤304，数据降噪模型计算器根据《待降噪行为数据集》计算数据降噪模型；
[0096]
步骤305，判断参数strategy＝＝“prev”，如果是则执行步骤306，如果不是则执行步骤309；
[0097]
步骤306，判断变量prevmodel是否有值，如果有则执行步骤307，如果没有则执行步骤308；
[0098]
步骤307，设置当前数据降噪模型为变量prevmodel保存的值，并将计算的数据降噪模型保存到变量prevmodel中，执行步骤310；
[0099]
步骤308，设置当前数据降噪模型为计算的数据降噪模型，并将计算的数据降噪模型保存到变量prevmodel中，执行步骤310；
[0100]
步骤309，设置当前数据降噪模型为计算的数据降噪模型，执行步骤310；
[0101]
步骤310，遍历《待降噪行为数据集》所有行为数据，每一条行为数据执行参数data计算表达式计算待降噪值，然后用计算的待降噪值与当前数据降噪模型进行计算，如果不是噪音，则将当前行为数据加入《降噪行为数据集》，执行步骤311；
[0102]
步骤311，输出《降噪行为数据集》。
[0103]
这里，步骤304中数据降噪模型计算器的计算流程参见图4，图4是本发明提供的数据降噪模型计算器的计算流程示意图，包括步骤401-步骤405，其中：
[0104]
步骤401，输入《待降噪行为数据集》；
[0105]
步骤402，判断参数type＝＝“number”？如是则执行步骤403，如果不是则执行步骤404；
[0106]
步骤403，使用数值数据降噪模型计算器构建数据降噪模型；
[0107]
步骤404，使用非数值数据降噪模型计算器构建数据降噪模型；
[0108]
步骤405，输出数据降噪模型。
[0109]
下面分别对数值数据降噪模型计算方法和非数值数据降噪模型计算方法进行说明。
[0110]
一、数值数据降噪模型计算方法
[0111]
数值数据降噪模型涉及的变量包括：
[0112]
a)非噪音数据最小值(min)，如果待降噪数据值《min，则待降噪数据值为噪音；
[0113]
b)非噪音数据最大值(max)，如果待降噪数据值》max，则待降噪数据值为噪音。
[0114]
图5是本发明提供的数值数据降噪模型构建流程示意图，如图5所示，包括步骤501-步骤506，其中：
[0115]
步骤501，输入《待降噪行为数据集》；
[0116]
步骤502，遍历《待降噪行为数据集》所有行为数据，每一条行为数据执行参数data计算表达式计算值，将值加入《降噪行为数据值集》；
[0117]
步骤503，计算《降噪行为数据值集》平均值；
[0118]
步骤504，计算《降噪行为数据值集》标准差；
[0119]
步骤505，根据值《1-参数probability》到正态分布概率表中查询概率值对应的距离值；
[0120]
步骤506，设置变量min＝平均值-标准差*距离值；设置变量max＝平均值+标准差*距离值。
[0121]
在此基础上，基于数值数据降噪模型的降噪计算流程如下：
[0122]
图6是本发明提供的数值数据降噪模型降噪计算流程示意图，如图6所示，包括步骤601-步骤603，其中：
[0123]
步骤601，输入《待降噪行为数据集》；
[0124]
步骤602，遍历《待降噪行为数据集》所有行为数据，每一条行为数据执行参数data计算表达式计算待降噪数据值，如果min《＝计算的待降噪数据值《＝max，则将当前待降噪行为数据加入《降噪行为数据集》；
[0125]
步骤603，输出《降噪行为数据集》。
[0126]
二、非数值数据降噪模型计算方法
[0127]
非数值数据降噪模型涉及的变量包括：
[0128]
a)非噪音数据最小频次(minfrequency)，如果待降噪数据值《minfrequency，则待降噪数据值为噪音；
[0129]
b)值频次表(frequencymap)，由待降噪数据值统计而来，通过表达式frequencymap[《待降噪数据值》]即可获得对应《待降噪数据值》对应的频次，如果frequencymap[《待降噪数据值》]《minfrequency，则表示待降噪数据值为噪音。
[0130]
图7是本发明提供的非数值数据降噪模型构建流程示意图，如图7所示，包括步骤
701-步骤710，其中：
[0131]
步骤701，输入《待降噪行为数据集》；
[0132]
步骤702，遍历《待降噪行为数据集》所有行为数据，每一条行为数据执行参数data计算表达式计算值，将值加入《降噪行为数据值集》；
[0133]
步骤703，遍历《降噪行为数据值集》，对每一条降噪数据值，在频次表frequencymap中查询《降噪数据值》是否存在，如果不存在，则将《降噪数据值，1》保存到表中，如果存在，则更新frequencymap中《降噪数据值，频次值》为《降噪数据值，频次值+1》；
[0134]
步骤704，新建一个临时表tmpmap，遍历frequencymap表，对于表中每条《降噪数据值，频次值》记录，在临时表tmpmap中查询《频次值》是否存在，如果不存在，则将《频次值，数量＝频次值》保存到表中，如果存在，则更新tmpmap中《频次值，数量》为《频次值，数量+频次值》；
[0135]
步骤705，计算nonnoisedatathreshold＝待降噪行为数据集数据数量*(1-参数probability)；
[0136]
步骤706，设置变量datacount＝0，将tmpmap表按照记录《频次值，数量》中频次值从大到小排序；
[0137]
步骤707，遍历tmpmap表，对于表中每条《频次值，数量》记录，执行步骤708；
[0138]
步骤708，针对每条记录，判断datacount》＝nonnoisedatathreshold？如果是执行步骤710，如果不是则执行步骤709；
[0139]
步骤709，更新datacount＝datacount+记录《频次值，数量》中数量值，继续执行步骤708；
[0140]
步骤710，设置minfrequency＝记录《频次值，数量》中频次值，然后结束计算。
[0141]
在此基础上，基于非数值数据降噪模型的降噪计算流程如下：
[0142]
图8是本发明提供的非数值数据降噪模型降噪计算流程示意图，如图8所示，包括步骤801-步骤806，其中：
[0143]
步骤801，输入《待降噪行为数据集》；
[0144]
步骤802，遍历《待降噪行为数据集》所有行为数据，每一条行为数据执行参数data计算表达式计算待降噪数据值；
[0145]
步骤803，对于每条待降噪数据值，查询frequencymap中是否有记录《计算的待降噪数据值，频次值》，如果有则执行步骤804，如果没有则执行步骤805；
[0146]
步骤804，如果当前频次值》minfrequency，则将当前行为数据加入到《降噪行为数据集》，如果遍历完成，执行步骤806，如果没有则执行步骤803；
[0147]
步骤805，如果0》minfrequency，则将当前行为数据加入到《降噪行为数据集》；如果遍历完成，执行步骤806，如果没有则执行步骤803；
[0148]
步骤806，输出《降噪行为数据集》。
[0149]
下面对本发明提供的用于安全分析的实时行为安全基线数据降噪装置进行描述，下文描述的用于安全分析的实时行为安全基线数据降噪装置与上文描述的用于安全分析的实时行为安全基线数据降噪方法可相互对应参照。
[0150]
图9为本发明提供的用于安全分析的实时行为安全基线数据降噪装置的结构示意图，如图9所示，用于安全分析的实时行为安全基线数据降噪装置900包括：获取模块901和
数据降噪模块902；其中，
[0151]
获取模块901，用于获取待降噪行为数据集；其中，所述待降噪行为数据集中包括至少一条行为数据；
[0152]
数据降噪模块902，用于根据数据降噪策略对所述待降噪行为数据集中每个行为数据进行数据降噪，得到降噪行为数据集。
[0153]
本发明提供的用于安全分析的实时行为安全基线数据降噪装置，通过获取待降噪行为数据集，根据数据降噪策略对所述待降噪行为数据集中每个行为数据进行数据降噪，以得到降噪行为数据集，实现对行为安全基线学习的数据进行数据噪音消除，能够提高行为安全基线学习数据的准确性，降低行为安全基线计算的误报和错误率。
[0154]
可选地，所述数据降噪策略，包括以下至少一项：
[0155]
第一策略，用于表示将行为数据对应的待降噪数据与当前周期行为数据集进行对比；
[0156]
第二策略，用于表示将行为数据对应的待降噪数据与上一个周期行为数据集进行对比；
[0157]
第三策略，用于表示将行为数据对应的待降噪数据值与第一表达式进行对比。
[0158]
可选地，数据降噪模块902，具体用于：
[0159]
在所述数据降噪策略包括所述第一策略的情况下，根据所述待降噪行为数据集计算当前周期数据降噪模型；
[0160]
遍历所述待降噪行为数据集中所有行为数据，对于每一条行为数据执行第二表达式计算待降噪数据值，将计算得到的待降噪数据值与所述当前周期数据降噪模型进行计算，当计算结果表示当前行为数据不是噪音时，将所述当前行为数据保存至所述降噪行为数据集。
[0161]
可选地，数据降噪模块902，具体用于：
[0162]
在所述数据降噪策略包括所述第二策略的情况下，根据所述待降噪行为数据集计算当前周期数据降噪模型；
[0163]
判断是否存在上一个周期数据降噪模型；
[0164]
当存在上一个周期数据降噪模型时，遍历所述待降噪行为数据集中所有行为数据，对于每一条行为数据执行第二表达式计算待降噪数据值，将计算得到的待降噪数据值与上一个周期数据降噪模型进行计算，当计算结果表示当前行为数据不是噪音时，将所述当前行为数据保存至所述降噪行为数据集；
[0165]
当不存在上一个周期数据降噪模型时，遍历所述待降噪行为数据集中所有行为数据，对于每一条行为数据执行第二表达式计算待降噪数据值，将计算得到的待降噪数据值与当前周期数据降噪模型进行计算，当计算结果表示当前行为数据不是噪音时，将所述当前行为数据保存至所述降噪行为数据集。
[0166]
可选地，数据降噪模块902，具体用于：
[0167]
在所述数据降噪策略包括所述第三策略的情况下，遍历所述待降噪行为数据集中所有行为数据，对于每一条行为数据执行第二表达式计算待降噪数据值，将计算得到的待降噪数据值输入至所述第一表达式进行布尔计算，当计算结果表示当前行为数据不是噪音时，将所述当前行为数据保存至所述降噪行为数据集。
[0168]
可选地，数据降噪模块902，具体用于：在所述待降噪行为数据集中行为数据为数值数据的情况下，遍历所述待降噪行为数据集中所有行为数据，对于每一条行为数据执行第二表达式计算待降噪数据值，将计算得到的待降噪数据值保存至降噪行为数据值集；计算所述降噪行为数据值集的平均值和标准差；根据数据噪音值概率确定距离值；根据所述平均值、所述标准差和所述距离值，确定非噪音数据最小值和非噪音数据最大值。
[0169]
可选地，数据降噪模块902，具体用于：
[0170]
在所述待降噪行为数据集中行为数据为非数值数据的情况下，遍历所述待降噪行为数据集中所有行为数据，对于每一条行为数据执行第二表达式计算待降噪数据值，将计算得到的待降噪数据值保存至降噪行为数据值集；
[0171]
遍历所述降噪行为数据值集，对于每一条待降噪数据值，在值频次表frequencymap中查询待降噪数据值是否存在；如果不存在则将一条记录《待降噪数据值，1》保存到frequencymap中；如果存在则更新frequencymap中《待降噪数据值，频次值》为《待降噪数据值，频次值+1》；
[0172]
遍历frequencymap，对于frequencymap中每条《待降噪数据值，频次值》记录，在临时表tmpmap中查询《频次值》是否存在；如果不存在则将《频次值，数量＝频次值》保存到tmpmap中；如果存在则更新tmpmap中《频次值，数量》为《频次值，数量+频次值》；
[0173]
根据所述降噪行为数据值集中待降噪数据值数量和噪音值概率，确定待降噪数据值门限；获取变量datacount的初始值，将tmpmap按照记录《频次值，数量》中频次值从大到小排序；遍历tmpmap表，对于表中每条《频次值，数量》记录，判断datacount是否大于或等于所述待降噪数据值门限；如果是则设置非噪音数据最小频次minfrequency＝记录《频次值，数量》中频次值；如果不是则更新datacount＝datacount+记录《频次值，数量》中数量值，及判断更新后的datacount是否大于或等于所述待降噪数据值门限。
[0174]
图10是本发明提供的电子设备的结构示意图，如图10所示，该电子设备1000包括：处理器(processor)1010、通信接口(communications interface)1020、存储器(memory)1030和通信总线1040；其中，处理器1010，通信接口1020，存储器1030通过通信总线1040完成相互间的通信。处理器1010可以调用存储器1030中的逻辑指令，以执行用于安全分析的实时行为安全基线数据降噪方法，该方法包括：获取待降噪行为数据集；其中，所述待降噪行为数据集中包括至少一条行为数据；根据数据降噪策略对所述待降噪行为数据集中每个行为数据进行数据降噪，得到降噪行为数据集。
[0175]
此外，上述的存储器1030中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0176]
另一方面，本发明还提供一种计算机程序产品，计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，计算机程序被处理器执行时，计算机
能够执行上述各方法所提供的用于安全分析的实时行为安全基线数据降噪方法，该方法包括：获取待降噪行为数据集；其中，所述待降噪行为数据集中包括至少一条行为数据；根据数据降噪策略对所述待降噪行为数据集中每个行为数据进行数据降噪，得到降噪行为数据集。
[0177]
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的用于安全分析的实时行为安全基线数据降噪方法，该方法包括：获取待降噪行为数据集；其中，所述待降噪行为数据集中包括至少一条行为数据；根据数据降噪策略对所述待降噪行为数据集中每个行为数据进行数据降噪，得到降噪行为数据集。
[0178]
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0179]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0180]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。