基于服务提供商动态IP白名单的流量采集过滤方法与流程

基于服务提供商动态ip白名单的流量采集过滤方法
技术领域
1.本发明涉及流量安全分析领域，具体涉及一种基于服务提供商动态ip白名单的流量采集过滤方法。


背景技术：

2.网络流量的安全分析工作，随着流量的井喷，分析难度变大，排除正常业务流量，减少干扰是网络安全分析工作的必要技术。
3.现有技术中专利cn114465791a 公开了网管设备中白名单的建立方法、装置、存储介质及处理器，该方法包括：对网络中的dns流量的类型进行监听，得到监听结果，其中，监听结果中包括以下之一：dns查询流量、dns应答流量；将监听结果中的所有的域名信息与目标泛域名模版进行匹配，得到目标集合，其中，目标集合中每个域名之间关系为域名与子域名的关系；对目标集合中的元素进行解析，得到目标信息，其中，目标信息至少包括：多个目标域名以及每个目标域名对应的目标ip地址；将目标信息存储至目标白名单中，其中，目标白名单用于对上网流量进行管控。通过本技术，解决了相关技术中网管设备白名单只能对部分设备生效，使得第三方网络认证效率较低的问题。
4.上述专利利用dns的解析记录，得到解析地址的ip名单，并利用该ip名单进行上网流量管控。但上述方法存在以下缺点：首先，同一域名对应的应答ip存在更新情况，而采用上述专利步骤得到的目标白名单，无法管控更新后的应答ip，导致后续流量管控时会出现误判；其次，由于ip数量的限制，同一ip地址在不同时间内可能对应不同域名，此时依靠白名单进行流量筛选可能会出现错筛的风险；最后，上述专利中输入的域名为准确域名，而二级以上的域名（pan.baidu.com,tieba.baidu.com）在无法穷举的情况下，无法准确实现流量采集过滤功能。
5.基于上述问题，本专利基于自定义服务提供商（如百度，新浪）的二级域名（baidu.com，sina.com.cn）进行白名单设置，并结合dns流量中的dns解析结果不断更新白名单，并利用该动态白名单库进行流量采集过滤。


技术实现要素：

6.本发明旨在解决现有技术存在的上述问题，提出一种基于服务提供商动态ip白名单的流量采集过滤方法，该方法利用利用dns应答流量的解析记录，得到解析地址的动态ip白名单库，并利用该动态ip白名单库进行流量采集过滤。
7.为了实现上述发明目的，本发明的技术方案如下：基于服务提供商动态ip白名单的流量采集过滤方法，其特征在于，包括如下步骤：s1、从流量中获取ip会话的ip地址，并与动态ip白名单库中的ip地址进行匹配；丢弃匹配成功的ip地址所对应的ip会话流量；采集匹配失败的ip地址所对应的ip会话流量，进入后续流量安全分析，并抽取其中的dns应答流量；
s2、提取所述dns应答流量的问题中的域名以及当前dns应答流量的数据帧的时间戳，将提取出的域名与自定义服务商的域名白名单相匹配：若域名白名单匹配失败，则跳过，继续获取下一个dns应答流量；提取域名白名单匹配成功的dns应答流量中应答记录为ip地址的a记录；s3、遍历a记录中的ip地址，对动态ip白名单库进行新增或更新插入时间的操作；s4、将步骤s3得到的动态ip白名单库作用于步骤s1进行流量过滤采集。
8.在某一实施例中，步骤s1中，若ip地址与动态ip白名单库匹配成功，则读取该ip地址在动态ip白名单库中的最近一次插入时间，并判断该插入时间是否过期：若未过期，则丢弃该ip地址对应的ip会话流量；若过期，则将该ip地址从动态ip白名单库中删除，但保留该ip地址对应的ip会话流量。
9.在某一实施例中，判断插入时间是否过期的方式为：若当前流量采集时间减去最近一次插入时间的值大于或等于存活时间ttl，则该插入时间已过期；若当前流量采集时间减去最近一次插入时间的值小于存活时间ttl，则该插入时间未过期。
10.在某一实施例中，存活时间ttl为预设的白名单过期时间，根据动态ip白名单库的数据量或者域名解析频率自行确定。
11.在某一实施例中，步骤s1中，首先按照ip会话对流量进行分组，保证每个ip会话的流量只出现在一个分组中，再获取每个分组中的ip会话的ip地址，将其与动态ip白名单库中的ip地址进行匹配。
12.在某一实施例中，步骤s2中，提取dns应答流量的问题中的域名后，分离该域名得到二级域名，然后将该二级域名与自定义服务商的域名白名单进行匹配。
13.在某一实施例中，所述动态ip白名单库为一张以ip地址为键值、以时间戳为值的哈希表。
14.在某一实施例中，步骤s3具体包括：遍历a记录中的ip地址，并在动态ip白名单库中进行对应键值查找；若未找到键值，则将该ip地址以ip地址为键值、时间戳为值的记录插入动态ip白名单库；若找到键值，则在ip动态白名单库中更新该键值对应的时间戳，将其赋值为数据帧的时间戳。
15.综上所述，本发明具有以下优点：1、本发明利用流量中的dns应答流量的解析记录，得到解析地址的动态ip白名单库，并利用该不断更新的动态ip白名单库进行流量过滤采集，以排除正常业务流量，减少干扰，实现针对性的网络安全分析；2、本发明为保证动态ip白名单库的有效性，利用ttl（time to live）技术进行ip地址插入时间有效期的计算，防止同一ip在不同时间段被不同服务商使用导致的漏采，保证动态ip白名单库在合理场景下的有效性，同时提高流量过滤采集的安全可靠性；3、本发明中，动态ip白名单库的生成和更新与流量过滤采集同时进行，动态ip白
名单库在流量采集过程中持续动态更新，减少了误判，提高了流量过滤采集的安全可靠性；4、本发明采用二级域名方式对服务提供商的域名解析进行记录和更新动态ip白名单库，输入便捷性和有效性提高，符合过滤场景并且适用范围更广。
附图说明
16.图1为本发明方法的整体流程图；图2为本发明动态ip白名单生成的流程图。
具体实施方式
17.下面结合实施例对本发明作进一步地详细说明，但本发明的实施方式不限于此。
18.实施例1本实施例提供了一种基于服务提供商动态ip白名单的流量采集过滤方法，如图1和图2所示，包括如下步骤：步骤一、从流量中获取ip会话的ip地址，并与动态ip白名单库中的ip地址进行匹配；动态ip白名单库为一张以ip地址为键值、以时间戳为值的哈希表。
19.若匹配成功，则说明该ip地址曾被定义为白名单，丢弃匹配成功的ip地址所对应的ip会话流量；若匹配失败，则采集该ip地址所对应的ip会话流量，进入后续流量安全分析，并抽取其中的dns应答流量。
20.步骤二、提取所述dns应答流量的问题中的域名（比如www.tieba.baidu.com）以及当前dns应答流量的数据帧的时间戳，将提取出的域名与自定义服务商的域名白名单相匹配：若域名白名单匹配失败，则跳过，继续获取下一个dns应答流量；提取域名白名单匹配成功的dns应答流量中应答记录为ip地址的a记录。
21.步骤三、遍历a记录中的ip地址，对动态ip白名单库进行新增或更新插入时间的操作。
22.步骤四、将步骤三得到的动态ip白名单库作用于步骤一中进行流量过滤采集。
23.本发明利用流量中的dns应答流量的解析记录，得到解析地址的动态ip白名单库，并利用该不断更新的动态ip白名单库进行流量过滤采集，以排除正常业务流量，减少干扰，实现针对性的网络安全分析。
24.实施例2本实施例提供了基于服务提供商动态ip白名单的流量采集过滤方法，在实施例1的基础上，如图1所示，进一步的利用ttl（time to live）技术进行ip地址插入时间有效期的计算。
25.步骤一中，若ip地址与动态ip白名单库匹配成功，则读取该ip地址在动态ip白名单库中的最近一次插入时间，并判断该插入时间是否过期，判断方式为：若当前流量采集时间减去最近一次插入时间的值大于或等于存活时间ttl，则该插入时间已过期；若当前流量采集时间减去最近一次插入时间的值小于存活时间ttl，则该插入时
间未过期。
26.ttl（time to live），表示自定义的ip地址白名单过期时间，根据ip地址白名单数据量或者域名解析频率而定，可设置1小时，1天等。
27.若判断结果为未过期，说明该ip地址对应的ip会话流量为白名单流量，则丢弃该ip会话的流量；若判断结果为已过期，则ip白名单失效，将该ip地址从白名单库中删除，并保留该ip地址对应的ip会话流量进行流量安全分析。
28.本实施例采用ttl技术进行ip地址插入时间有效期的计算，防止不同服务商使用同一ip地址而导致漏采，保证动态ip白名单库在合理场景下的有效性，同时提高流量过滤采集的安全可靠性。
29.实施例3本实施例提供了基于服务提供商动态ip白名单的流量采集过滤方法，包括如下步骤：步骤一、按照ip会话对流量进行分组，保证同一个ip会话的流量只会出现在同一个分组中。当一个ip会话判断为白名单之后，直到该会话结束，不用再次进行白名单判断，以提升流量过滤性能。
30.获取每个分组的ip会话中的ip地址，并与动态ip白名单库中的ip地址进行匹配。动态ip白名单库为一张以ip地址为键值、以时间戳为值的哈希表。
31.若匹配成功，则说明该ip地址曾被定义为白名单，丢弃匹配成功的ip地址所对应的ip会话流量；若匹配失败，则采集该ip地址所对应的ip会话流量，进入后续流量安全分析，并抽取其中的dns应答流量。
32.步骤二、提取所述dns应答流量的问题中的域名（比如www.tieba.baidu.com）以及当前dns应答流量的数据帧的时间戳，将提取出的域名与自定义服务商的域名白名单相匹配。
33.进一步的，针对提取出的域名，对其进行分离得到二级域名（比如baidu.com），将得到的二级域名与自定义服务商的域名白名单相匹配。匹配时，在二级域名下的任意子域名都可以命中域名白名单，如pan.baidu.com, tieba.baidu.com等。采用二级域名方式对自定义服务提供商的域名解析进行记录和更新名单，输入便捷性和有效性提高，符合过滤场景并且适用范围更广。自定义服务提供商的域名白名单主要为国际流量较大的知名服务商，例如baidu.com，并生成白名单字符串去重表实现高性能匹配。
34.若域名白名单匹配失败，则跳过，继续获取下一个dns应答流量。
35.若域名白名单匹配成功，则提取dns应答流量中应答记录为ip地址的a记录。
36.步骤三、遍历a记录中的ip地址，对动态ip白名单库进行新增或更新插入时间的操作；更具体的：遍历a记录中的ip地址，并在动态ip白名单库中进行对应键值查找：若未找到键值，说明该ip地址第一次被解析出来，则将该ip地址以ip地址为键值、时间戳为值的记录插入动态ip白名单库；若找到键值，说明该ip地址已经被域名解析过，则在ip动态白名单库中更新该键
值对应的时间戳，将其赋值为数据帧的时间戳。
37.步骤四、将步骤三得到的动态ip白名单库作用于步骤一中进行流量过滤采集。
38.对于本领域技术人员而言，显然本技术不限于上述示范性实施例的细节，在不背离本技术的精神或基本特征的情况下，完全能够以其它的具体形式实现本技术所描述的设计技术。因此无论从哪一点来看，均应将上述实施例看作是示范性的，而非限制性的，本技术的范围应当由所附权利要求而不是上述说明限定，并且不应将任何附图标记视为可以限制所涉及的权利要求。
39.所以以上所述仅为本发明的部分实施例，并非因此限制本发明的保护范围，凡是利用本发明说明书及附图内容所作的等效装置或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。