一种流量采集方法及系统与流程

本技术涉及流量采集，特别是涉及一种流量采集方法及系统。

背景技术：

1、目前，通常通过分析集群内的工作负载产生的业务流量的方式，实现对集群进行网络管理、网络安全监控等管控操作，因此需要采集工作负载产生的业务流量，以为管控操作提供数据支持。

2、然而，目前由于集群内工作负载的流量访问关系复杂，为了能够采集出支持管控操作的数据，通常需要全流量采集集群中所有的工作负载产生的业务流量，这样的全流量采集的方式，由于业务流量的采集量大，会消耗集群内大量的物理资源和网络带宽，影响到集群的性能。

技术实现思路

1、有鉴于此，本技术提出了一种流量采集方法及系统，主要目的在于有选择的从集群采集业务流量，以减少业务流量采集对集群物理资源和网络带宽的消耗。

2、为了达到上述目的，本技术主要提供了如下技术方案：

3、第一方面，本技术提供了一种流量采集方法，该流量采集方法应用于集群，该流量采集方法包括：

4、响应于检测到需要对所述集群进行业务流量采集，确定所述集群内的工作负载之间的流量访问关系；

5、检测所述流量访问关系中是否包括满足业务流量采集需求的目标流量访问关系；

6、若包括，则对所述目标流量访问关系对应的第一工作负载，进行业务流量采集。

7、在本技术一些实施例中，基所述集群内每个工作负载具有相应的负载ip地址，则，确定所述集群内的工作负载之间的流量访问关系，包括：采集所述集群中每个目标节点产生的dns流量；解析采集到的每条dns流量，获得每条dns流量的源ip地址和目的ip地址；将所述源ip地址和所述目的ip地址分别与负载ip地址进行匹配；基于匹配结果，确定所述源ip地址对应的第二工作负载以及所述目的ip地址对应的第三工作负载；基于同一条dns流量的源ip地址和目的ip地址之间的地址指向关系，设置用于指示对应的第二工作负载的流量流向对应的第三工作负载的目标流量流向关系；整合每条所述dns流量对应的目标流量流向关系，得到所述流量访问关系。

8、在本技术一些实施例中，基于匹配结果，确定所述源ip地址对应的第二工作负载以及所述目的ip地址对应的第三工作负载，包括：对于所述源ip地址，若所述匹配结果指示所述源ip地址与负载ip地址匹配成功，则将匹配成功的负载ip地址对应的工作负载，确定为所述源ip地址对应的第二工作负载；对于所述目的ip地址，若所述匹配结果指示所述目的ip地址与负载ip地址匹配成功，则将匹配成功的负载ip地址对应的工作负载，确定为所述目的ip地址对应的第三工作负载。

9、在本技术一些实施例中，该流量采集方法还可以包括：对于所述源ip地址，若所述匹配结果指示所述源ip地址与负载ip地址匹配失败，则发出第一提示，所述第一提示用于指示所述源ip地址异常；对于所述目的ip地址，若所述匹配结果指示所述目的ip地址与负载ip地址匹配失败，则将所述目的ip地址与外部工作负载的负载ip地址进行匹配，所述外部工作负载为位于所述集群外部，且与所述集群关联的工作负载；若与外部工作负载的负载ip地址匹配成功，则将匹配成功的负载ip地址对应的外部工作负载，确定为所述目的ip地址对应的第三工作负载；若与外部工作负载的负载ip地址匹配失败，则发出第二提示，所述第二提示用于指示所述目的ip地址异常。

10、在本技术一些实施例中，在采集所述集群中每个目标节点产生的dns流量之前，该流量采集方法还可以包括：检测是否存在所述集群的流量拓扑，所述流量拓扑用于描述所述集群内的工作负载之间的流量访问关系；若存在，则基于所述流量拓扑确定所述流量访问关系；若不存在，则执行采集所述集群中每个目标节点产生的dns流量的步骤。

11、在本技术一些实施例中，若不存在所述流量拓扑，则在整合每条所述dns流量对应的目标流量流向关系，得到所述流量访问关系之后，该流量采集方法还可以包括：基于所述流量访问关系设置所述集群对应的流量拓扑，以供再次存在业务流量采集需求时使用。

12、在本技术一些实施例中，在采集所述集群中每个目标节点产生的dns流量之前，该流量采集方法还可以包括：检测所述集群内的工作负载相对于上一次进行业务流量采集是否发生变动；若未发生变动，则将上一次进行业务流量采集所用的流量访问关系，确定为所述集群内的工作负载之间的流量访问关系；若否，则执行采集所述集群中每个目标节点产生的dns流量的步骤。

13、在本技术一些实施例中，该流量采集方法还可以包括：判断当前业务流量采集是否指定所述集群中的节点；若指定，则将所述集群中被指定的节点确定为目标节点；若未指定，则将所述集群中的所有节点均确定为目标节点。

14、在本技术一些实施例中，采集所述集群中每个目标节点产生的dns流量，包括：对于每个所述目标节点，检测所述目标节点中是否包括有部署dns服务的目标pod；若未部署，则采集所述目标节点的物理网卡输出的dns流量；若部署，则采集所述目标节点的物理网卡以及所述目标pod的虚拟网卡接口输出的dns流量。

15、在本技术一些实施例中，在解析采集到的每条dns流量，获得每条dns流量的源ip地址和目的ip地址之前，该流量采集方法还可以包括：对于每个所述dns流量，检测当前时间是否达到所述dns流量对应的过期时间；若达到，则检测基于所述dns流量建立的连接是否存在；若不存在，则剔除所述dns流量。

16、在本技术一些实施例中，检测基于所述dns流量建立的连接是否存在，包括：查询连接表格中是否记录有基于所述dns流量建立的连接，所述连接表格用于记录所述集群中当前存在的连接；若未记录，则检测到所述dns流量建立的连接不存在。

17、在本技术一些实施例中，检测所述流量访问关系中是否包括满足业务流量采集需求的目标流量访问关系，包括：若所述业务流量采集需求包括对负载类型为预设类型，且存在流量访问关系的工作负载进行流量采集，则检测所述流量访问关系中是否存在预设类型的工作负载之间的流量访问关系；若存在，则确定存在目标流量访问关系，并将预设类型的工作负载之间的流量访问关系确定为目标流量访问关系。

18、在本技术一些实施例中，检测所述流量访问关系中是否包括满足业务流量采集需求的目标流量访问关系，包括：若所述业务流量采集需求包括对属于不同命名空间，且存在流量访问关系的工作负载进行流量采集，则检测所述流量访问关系中是否存在属于不同命名空间的工作负载之间的流量访问关系；若存在，则确定存在目标流量访问关系，并将属于不同命名空间的工作负载之间的流量访问关系确定为目标流量访问关系。

19、在本技术一些实施例中，检测所述流量拓扑描述的流量访问关系中是否包括满足业务流量采集需求的目标流量访问关系，包括：展示所述流量访问关系，以供用户基于所述流量访问关系选取工作负载，所述用户选取的工作负载之间的流量访问关系满足所述业务流量采集需求；检测是否存在被用户选定的工作负载；若存在，则确定存在目标流量访问关系，并将被用户选定的工作负载相关的流量访问关系确定为目标流量访问关系。

20、在本技术一些实施例中，对所述目标流量访问关系对应的第一工作负载，进行业务流量采集，包括：获取预先为每个所述第一工作负载设置的业务流量采集策略，所述采集策略用于指示采集第一工作负载产生的满足对应条件的业务流量；基于每个所述第一工作负载对应的业务流量采集策略，采集每个所述第一工作负载产生的满足对应条件的业务流量。

21、第二方面，本技术提供了一种流量采集系统，该流量采集系统应用于集群，该流量采集系统包括：

22、确定装置，用于响应于检测到需要对所述集群进行业务流量采集，确定所述集群内的工作负载之间的流量访问关系；

23、检测装置，用于检测所述流量访问关系中是否包括满足业务流量采集需求的目标流量访问关系；若包括，则采集装置对所述目标流量访问关系对应的第一工作负载，进行业务流量采集。

24、第三方面，本技术提供了一种计算机可读存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行第一方面所述的流量采集方法。

25、第四方面，本技术提供了一种电子设备，所述电子设备包括：存储器，用于存储程序；处理器，耦合至所述存储器，用于运行所述程序以执行第一方面所述的流量采集方法。

26、本技术提供的流量采集方法及系统，当检测到需要对集群进行业务流量采集时，确定集群内的工作负载之间的流量访问关系。然后检测流量访问关系中是否包括满足业务流量采集需求的目标流量访问关系。若检测出包括目标流量访问关系，则对目标流量访问关系对应的第一工作负载，进行业务流量采集。可见，本技术提供的方案在对集群进行业务流量采集时，不是采集集群内的所有工作负载产生的业务流量，而是基于集群内的工作负载之间的流量访问关系，确定出满足业务流量采集需求的目标流量访问关系，仅对目标流量访问关系对应的工作负载进行业务流量采集。这样有选择的从集群采集业务流量，不仅能够采集到用于对集群进行网络管理、网络安全监控等管控操作所需要的业务流量，而且由于能够减少业务流量的采集量，因此能够减少业务流量采集对集群内的物理资源和网络带宽的消耗，从而能够减小业务流量采集对集群性能的影响。

27、上述说明仅是本技术技术方案的概述，为了能够更清楚了解本技术的技术手段，而可依照说明书的内容予以实施，并且为了让本技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本技术的具体实施方式。