用于网络流量分析的方法、设备和系统与流程

文档序号:24390730发布日期:2021-03-23 11:25阅读:来源:国知局

技术特征:

1.一种用于网络流量分析的方法,包括:

获取当前时间间隔的流量数据;

基于包括取模运算的哈希运算,在基于中国余数定理的可逆概要(crt-rs)中记录所述流量数据,其中,所述取模运算的模数是从中国余数定理(crt)中的模数中选择的,作为成对互质整数,并且所述crt-rs包括多个桶;

基于所述当前时间间隔的流量数据与前一时间间隔的流量数据之间的变化,在所述crt-rs中检测异常桶;以及

基于所述异常桶,恢复异常源地址关联信息。

2.根据权利要求1所述的方法,其中,所述流量数据包括至少一个数据分组,在所述crt-rs中记录所述流量数据包括:

从所述至少一个数据分组中导出至少一个成对项,其中,所述成对项包括键和所述键的关联值;以及

在所述crt-rs中记录所述至少一个成对项。

3.根据权利要求2所述的方法,其中,所述键是从所述数据分组导出的源地址关联信息。

4.根据权利要求3所述的方法,其中,所述键是以下中的至少一个:

源地址,

源地址和端口的组合,

源地址范围,以及

数据分组的报头中的一个或多个字段。

5.根据权利要求2至4中任一项所述的方法,其中,所述键的所述关联值是与所述键对应的所述数据分组的统计信息。

6.根据权利要求5所述的方法,其中,所述关联值包括至少一个分量,所述分量是以下中的至少一个:

与所述键对应的传输控制协议分组数量;

与所述键对应的用户数据报协议分组数量;

与所述键对应的互联网控制消息协议分组数量;

与所述键对应的分组大小分布;以及

与所述键对应的目的地地址分布。

7.根据权利要求2至6中任一项所述的方法,其中,在所述crt-rs中记录所述至少一个成对项包括:

通过使用哈希运算来将所述至少一个键中的每个键映射到所述crt-rs中的桶;

将所述至少一个键中的每个键的所述关联值添加到所述crt-rs中对应桶的值。

8.根据权利要求7所述的方法,其中,通过使用哈希运算来将所述至少一个键中的每个键映射到所述crt-rs中的桶包括:

对所述至少一个键中的每个键执行多个哈希运算,其中,每个所述哈希运算至少包括取模运算,并且取模运算的模数选自中国余数定理(crt)中的模数,作为成对互质整数;

基于所述哈希运算在所述多个哈希运算中的序列号和所述哈希运算的对应函数值,确定所述桶在所述crt-rs中的位置。

9.根据权利要求8所述的方法,其中,所述哈希运算在所述多个哈希运算中的所述序列号标示所述桶的行号,并且所述哈希运算的对应函数值标示所述桶的列号。

10.根据权利要求8或9所述的方法,其中,所述哈希运算中的取模运算的模数以升序或降序排列。

11.根据权利要求8至10中的任一项所述的方法,其中,基于由所述源地址关联信息指示的源地址数量来选择取模运算的模数。

12.根据权利要求8至11中任一项所述的方法,其中,在基于中国余数定理的可逆概要中记录所述流量数据还包括:

组合来自获取并记录所述流量数据的多个节点的所述crt-rs中的对应桶的值。

13.根据权利要求1至12中任一项所述的方法,其中,基于所述当前时间间隔的流量数据与前一时间间隔的流量数据之间的变化来在所述crt-rs中检测异常桶包括:

对于每个桶和所述关联值的每个分量,基于所述前一时间间隔的桶的累积和以及所述当前时间间隔的桶的值的变化,计算所述当前时间间隔的桶的累积和,其中,基于所述当前时间间隔的桶的值、所述当前时间间隔的桶的平均值以及具有缩放因子的所述当前时间间隔的桶的标准偏差来计算所述当前时间间隔的桶的值的变化。

14.根据权利要求13所述的方法,其中,基于所述当前时间间隔的桶的值和所述前一时间间隔的桶的平均值来计算所述当前时间间隔的桶的平均值,其中,所述当前时间间隔的桶的值和所述前一时间间隔的桶的平均值中的至少一个用权重系数来计算。

15.根据权利要求14所述的方法,其中,基于所述当前时间间隔的桶的值、所述当前时间间隔的桶的平均值以及所述前一时间间隔的桶的标准偏差,计算所述当前时间间隔的桶的标准偏差,其中,所述当前时间间隔的桶的值、所述当前时间间隔的桶的平均值、和所述前一时间间隔的桶的标准偏差中的至少一个用权重系数来计算。

16.根据权利要求13至15中任一项所述的方法,其中,基于所述当前时间间隔的流量数据与前一时间间隔的流量数据之间的变化来在所述crt-rs中检测异常桶还包括:

如果针对所述关联值的每个分量的所述当前时间间隔的桶的累积和超过第一阈值,则确定异常桶。

17.根据权利要求16所述的方法,其中,所述第一阈值对于所述关联值的不同分量是不同的。

18.根据权利要求16和17中任一项所述的方法,其中,基于所述当前时间间隔的流量数据与前一时间间隔的流量数据之间的变化来在所述crt-rs中检测异常桶还包括:

如果针对所述关联值的所有分量的所述桶的所述累积和的总和超过第二阈值,则确定异常桶。

19.根据权利要求13至18中任一项所述的方法,其中,基于所述当前时间间隔的流量数据与前一时间间隔的流量数据之间的变化来在所述crt-rs中检测异常桶还包括:

对于所检测的异常桶的每个桶,将所述当前时间间隔的桶的累积和的值、所述当前时间间隔的桶的平均值、以及所述当前时间间隔的桶的标准偏差分别设置为所述前一时间间隔的桶的累积和的值、所述前一时间间隔的桶的平均值、以及所述前一时间间隔的桶的标准偏差。

20.根据权利要求7至19中任一项所述的方法,其中,基于所述异常桶来恢复异常源地址关联信息包括:

通过基于所述异常桶的所述位置求解所述哈希运算,恢复对应于所述异常桶的所述键;以及

从所述键中获取所述异常源地址关联信息。

21.根据权利要求7至19中任一项所述的方法,其中,基于所述异常桶来恢复异常源地址关联信息包括:

在映射列表中记录与所述至少一个键中的每个键对应被映射的桶的位置;

通过将所述异常桶的位置与所述映射列表中桶的位置进行匹配,恢复对应于所述异常桶的所述键。

22.根据权利要求1至21中的任一项所述的方法,还包括:

将所述异常源地址关联信息添加到黑名单中。

23.根据权利要求1至22中的任一项所述的方法,还包括:

将所述异常源地址关联信息添加到多个节点的黑名单中。

24.根据权利要求22或23所述的方法,还包括:

基于所述黑名单中的所述异常源地址关联信息,对所述流量数据的数据分组进行过滤。

25.一种用于网络流量分析的设备,包括:

获取单元,其被配置为获取当前时间间隔的流量数据;

记录单元,其被配置为基于包括取模运算的哈希运算,在基于中国余数定理的可逆概要(crt-rs)中记录所述流量数据,其中,所述取模运算的模数是从中国余数定理(crt)中的模数中选择的,作为成对互质整数,并且所述crt-rs包括多个桶;

检测单元,其被配置为基于所述当前时间间隔的流量数据与前一时间间隔的流量数据之间的变化,在所述crt-rs中检测异常桶;

恢复单元,其被配置为基于所述异常桶来恢复异常源地址关联信息;以及

存储单元,其被配置为存储所述crt-rs。

26.根据权利要求25所述的设备,其中,所述流量数据包括至少一个数据分组,所述记录单元还被配置为:

从所述至少一个数据分组中导出至少一个成对项,其中,所述成对项包括键和所述键的关联值;以及

在所述crt-rs中记录所述至少一个成对项。

27.根据权利要求26所述的设备,其中,所述键是从所述数据分组导出的源地址关联信息。

28.根据权利要求27所述的设备,其中,所述键是以下中的至少一个:

源地址,

源地址和端口的组合,

源地址范围,以及

数据分组的报头中的一个或多个字段。

29.根据权利要求26至28中任一项所述的设备,其中,所述键的所述关联值是与所述键对应的所述数据分组的统计信息。

30.根据权利要求29所述的设备,其中,所述关联值包括至少一个分量,所述分量是以下中的至少一个:

与所述键对应的传输控制协议分组数量;

与所述键对应的用户数据报协议分组数量;

与所述键对应的互联网控制消息协议分组数量;

与所述键对应的分组大小分布;以及

与所述键对应的目的地地址分布。

31.根据权利要求26至30中的任一项所述的设备,其中,所述记录单元还被配置为:

通过使用哈希运算来将所述至少一个键中的每个键映射到所述crt-rs中的桶;

将所述至少一个键中的每个键的所述关联值添加到所述crt-rs中的对应桶的值。

32.根据权利要求31所述的设备,其中,所述记录单元还被配置为:

对所述至少一个键中的每个键执行多个哈希运算,其中,每个所述哈希运算至少包括取模运算,并且取模运算的模数选自中国余数定理(crt)中的模数,作为成对互质整数;

基于所述哈希运算在所述多个哈希运算中的序列号和所述哈希运算的对应函数值,确定所述桶在所述crt-rs中的位置。

33.根据权利要求32所述的设备,其中,所述哈希运算在所述多个哈希运算中的所述序列号标示所述桶的行号,并且所述哈希运算的对应函数值标示所述桶的列号。

34.根据权利要求32或33所述的设备,其中,所述哈希运算中的取模运算的模数以升序或降序排列。

35.根据权利要求32至34中的任一项所述的设备,其中,基于由所述源地址关联信息指示的源地址的数量来选择取模运算的模数。

36.根据权利要求25至35中任一项所述的设备,其中,所述检测单元被配置为:

对于每个桶和所述关联值的每个分量,基于所述前一时间间隔的桶的累积和以及所述当前时间间隔的桶的值的变化,计算所述当前时间间隔的桶的累积和,其中,基于所述当前时间间隔的桶的值、所述当前时间间隔的桶的平均值以及具有缩放因子的所述当前时间间隔的桶的标准偏差来计算所述当前时间间隔的桶的值的所述变化。

37.根据权利要求36所述的设备,其中,基于所述当前时间间隔的桶的值和所述前一时间间隔的桶的平均值来计算所述当前时间间隔的桶的平均值,其中,所述当前时间间隔的桶的值和所述前一时间间隔的桶的平均值中的至少一个用权重系数来计算。

38.根据权利要求37所述的设备,其中,基于所述当前时间间隔的桶的值、所述当前时间间隔的桶的平均值以及所述前一时间间隔的桶的标准偏差,计算所述当前时间间隔的桶的标准偏差,其中,所述当前时间间隔的桶的值、所述当前时间间隔的桶的平均值、和所述前一时间间隔的桶的标准偏差中的至少一个用权重系数来计算。

39.根据权利要求36至38中任一项所述的设备,其中,所述检测单元还被配置为:

如果针对所述关联值的每个分量的所述当前时间间隔的桶的累积和超过第一阈值,则确定异常桶。

40.根据权利要求39所述的设备,其中,所述第一阈值对于所述关联值的不同分量是不同的。

41.根据权利要求39和40中的任一项所述的设备,其中,所述检测单元还被配置为:

如果针对所述关联值的所有分量的所述桶的所述累积和的总和超过第二阈值,则确定异常桶。

42.根据权利要求36至41中任一项所述的设备,其中,所述检测单元还被配置为:

对于所检测的异常桶的每个桶,将所述当前时间间隔的桶的累积和的值、所述当前时间间隔的桶的平均值、以及所述当前时间间隔的桶的标准偏差分别设置为所述前一时间间隔的桶的累积和的值、所述前一时间间隔的桶的平均值、以及所述前一时间间隔的桶的标准偏差。

43.根据权利要求25至42中任一项所述的设备,其中,所述恢复单元还被配置为:

通过基于所述异常桶的所述位置求解所述哈希运算,恢复对应于所述异常桶的所述键;以及

从所述键中获取所述异常源地址关联信息。

44.根据权利要求25至42中任一项所述的设备,其中,所述恢复单元还被配置为:

在映射列表中记录与所述至少一个键中的每个键对应被映射的桶的位置;

通过将所述异常桶的位置与所述映射列表中桶的位置进行匹配,恢复对应于所述异常桶的所述键;以及

所述存储单元还被配置为存储所述映射列表。

45.根据权利要求25至44中的任一项所述的设备,其中,所述存储单元还被配置为:

存储用于存储所述异常源地址关联信息的黑名单。

46.根据权利要求44或45所述的设备,还包括:

过滤单元,其被配置为基于所述黑名单中的所述异常源地址关联信息,对所述流量数据的数据分组进行过滤。

47.一种用于网络流量分析的系统,包括多个根据权利要求25至46中的任一项所述的设备。

48.根据权利要求47所述的系统,其中,所述系统还包括管理设备,所述管理设备包括:

管理单元,其被配置为组合来自所述多个设备的所述crt-rs中的对应桶的值。

49.根据权利要求47和48中的任何一项所述的系统,其中,所述管理单元还被配置为:

将所述异常源地址关联信息添加到所述多个设备的所述黑名单中。

50.一种装置,包括用于执行根据权利要求1至24中的任一项所述的方法的部件。

51.一种非暂时性计算机可读存储介质,其存储指令,所述指令当由一个或多个处理器执行时使所述处理器执行根据权利要求1至24中任一项所述的方法。


技术总结
提供了一种用于网络流量分析的方法、设备和系统。该方法包括:获取当前时间间隔的流量数据;基于包括取模运算的哈希运算,在基于中国余数定理的可逆概要(CRT‑RS)中记录流量数据;基于当前时间间隔的流量数据与前一时间间隔的流量数据之间的变化,在CRT‑RS中检测异常桶;以及基于异常桶来恢复异常源地址关联信息,其中,取模运算的模数是从中国余数定理(CRT)中的模数中选择的,作为成对互质整数,并且CRT‑RS包括多个桶。检测步骤使用修改的多图累积和。

技术研发人员:靖旭阳;闫峥
受保护的技术使用者:诺基亚通信公司
技术研发日:2018.07.27
技术公布日:2021.03.23
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1