资源域和观察域的云网数据包采集方法及系统与流程

本发明涉及网络通讯，具体地，涉及一种资源域和观察域的云网数据包采集方法及系统。

背景技术：

1、网络数据包采集一直是网络性能管理(npm)、网络安全(security)等系统的重要技术方法。在传统网络中，数据包采集是通过交换机镜像或者tap设备将网络流量旁路镜像到采集设备，然后采集设备通过抓包方式实现。这种方法依赖于硬件设备支持，同时依赖于镜像设备和采集设备之间的网线连接。

2、随着云计算技术的兴起，sdn网络和kubernetes(k8s)容器网络日益被广泛使用。在这些新的云网环境中，传统方式只能采集到通过交换机的跨主机网络流量，不能采集主机内的网络流量，而主机内网络流包括主机内虚拟机(vm)之间和容器(container)之间的网络通信，实际是重要的云网流量。同时，因为sdn和k8s等系统广泛采用网络地址转换技术(nta)，交换机上采集到的流量丢失了业务地址信息，往往无法真实反应实际业务的通讯情况。因此，在云网络时代，网络数据包的agent采集技术被采用。这种技术实际上是将镜像点从交换机前移到了需要采集的位置，譬如主机内、vm内、k8s的node内、k8s的pod内、container内等。实现的方式是在前移的镜像位置，部署软件agent，使用抓包技术，采集网卡(包括物理网卡和虚拟网卡)数据流量，然后将其封装之后发送到采集设备进行存储和/或分析处理。但目前的云网数据包agent采集方式存在如下缺陷：

3、1)缺乏元数据，网络数据无法关联到资源系统，更无法关联到业务系统，应用场景少。资源系统(resource system)指运行软件的物理机、虚拟机、容器等。业务系统(businessystem)指完成业务功能的软件系统，除业务系统外，还有云系统、管理系统、监控系统等支撑业务系统的辅助软件系统等。传统网络因为都是物理连接，网络地址可以直接映射到物理资源系统，也可以直接映射到运行在物理资源系统上的业务系统，因此采集到了网络数据包后，进行关联和分析，可以反映资源系统和业务系统的运行情况，应用场景广泛。而在云网环境中，一般采用下层网络(underlay)载承上层网络(overlay)的结构。而且存在多层级载承的方式，譬如物理网络载承vm网络，vm网络再载承container网络。其中，只有最下层物理网络的网络地址固定，可以继续使用传统方法关联到物理系统资源。而上层网络(vm网络和container网络)中，地址和资源系统的映射关系，地址和业务系统的映射关系，都是非固定的、动态调整的。这些信息维护在相关云网络的控制组件中，在采集系统中，称为“元数据”(meta data)。因此，由于缺乏元数据，当前方式的采集的数据，实际应用场景大幅减少。

4、2)计算开销和网络开销的矛盾，使用范围小。传统方式通过硬件镜像网络流量，然后采用额外的采集设备做采集和分析，因此对产生数据的资源系统没有额外开销。而且镜像流量也通过额外网线直接输出到采集设备，对被采集的网络也没有额外的网络开销。而agent方式需要部署在被采集系统中，因此带来被采集系统的计算开销和网络开销。如果数据包直接导出，则计算开销较小，但网络开销过大，相当于流量翻倍；如果对数据包做过滤，或者做压缩，或者直接分析计算出统计指标数据，那么传输数据量减小，但计算开销大幅增加，影响被采集系统上运行软件的可用资源，带来稳定性风险。因此，当前采集方式只适合在计算资源宽裕和网络资源宽裕的系统中使用，实际使用范围较小。

5、直接通过数据包中的网络地址去查询业务，存在若干问题，说明如下：

6、1)效率低下。首先是因为云上服务大多采用小型的服务或者微服务架构，通过大量水平扩展来保障可用性和处理性能。因此云网系统中网络地址远远多于传统系统，直接按地址，查询效率低下。

7、2)时效性问题。此外，网络地址往往是动态分配和不断调整的，即使云控制器的元数据中也只有当前地址，而没有失效的地址，但网络数据包往往有时间跨度，很可能遇到失效地址问题。

8、3)难以区分捕获位置。如前文所述，云网中存在多层级的载承网络，而镜像位置(也就是采集位置)可以在主机内、vm内、k8s的node内、k8s的pod内、container内等来，不同采集位置采集的数据包包含不同层级，同时因为是否采用nat等技术，表示同一层级网络的地址可能相同也可能不同。此时完全依赖于数据包中的网络地址来区分捕获位置就要么不可能，要么过于复杂。而在云网分析中，区分捕获点位置，从而区分采集流量属于哪个层级的网络，通过关联分析，有助于提供数据流转的可见性，帮助分析网络故障。

技术实现思路

1、针对现有技术中的缺陷，本发明提供一种资源域和观察域的云网数据包采集方法及系统，以解决云环境下的数据包采集问题，为网络数据包提供元数据，平衡计算开销和网络开销，以支持广泛的应用场景，增加实际使用范围。

2、根据本发明提供的一种资源域和观察域的云网数据包采集方法及系统，所述方案如下：

3、第一方面，提供了一种资源域和观察域的云网数据包采集方法，所述方法包括：

4、资源域步骤：包括resource_domain_id和resource_point_id；其中，通过resource_domain_id标识被采集资源，通过resource_point_id标识资源上的某个物理网卡或者虚拟网卡；

5、观察域步骤：包括observation_domain_id和observation_point_id；其中，通过observation_domain_id标识每一个采集器agent，通过observation_point_id在agent采集多个网卡时标识每一个被采集的网卡。

6、优选地，所述agent向管理模块manager注册自己，之后定期访问manager，在agent向manager注册自己的过程中，agent上报自己的本地信息；manager处理注册事件并分配observation信息和配置，执行步骤如下：

7、步骤s1：输入agent上报的网络地址和nic列表；

8、步骤s2：使用cloud api查询agent网络地址对应resource信息和相关meta data；

9、步骤s3：根据采集需求，确定需要采集网卡；

10、步骤s4：分配对应的observation_domain_id和observation_point_id；

11、步骤s5：更新并缓存resource和observation之间映射关系；

12、步骤s6：下发工作配置和observation信息给agent。

13、优选地，所述步骤s5包括：对于agent，建立步骤s3的resource信息和步骤s4的observation信息的双向映射关系，更新到全局缓存。

14、优选地，所述双向映射查询的使用包括：

15、从resource查询observation，主要在manager中使用，用以ui查询和配置agent和gateway；

16、从observation查询resource，通过manager的api提供给consumer，即manager的元数据功能

17、第二方面，提供了一种资源域和观察域的云网数据包采集系统，所述系统包括：

18、探针模块agent：采集原始数据包，将所述原始数据包发送到gateway；

19、网关模块gateway：接收agent采集的原始数据包，进行分析处理，再将原始数据包和/或分析结果转发给consumer；

20、消费模块consumer：消费gateway网络数据或者分析数据；

21、管理模块manager：连接agent、gateway和consumer，通过aip提供管理和元数据两类功能。

22、优选地，所述网关模块gateway根据实际情况靠近agent，平衡计算开销和网络开销，在各种负载情况的云网中广泛使用。

23、优选地，所述管理模块manager中的管理功能包括：

24、针对agent和gateway，manager能够下发配置参数，控制启动和停止，收集并显示状态，起到管理服务的作用；

25、针对consumer，有自己的管理方式，无需manager的管理功能。

26、优选地，所述管理模块manager中的元数据包括：manager通过对接各种云控制器，获取其中包含的元数据；agent、gateway和consumer均能通过manager查询元数据，从而将采集的云网数据包和资源系统、业务系统进行关联，支持多种应用场景。

27、第三方面，提供了一种存储有计算机程序的计算机可读存储介质，所述计算机程序被处理器执行时实现所述资源域和观察域的云网数据包采集方法中的步骤。

28、第四方面，提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被处理器执行时实现所述资源域和观察域的云网数据包采集方法中的步骤。

29、与现有技术相比，本发明具有如下的有益效果：

30、1)采用资源域信息和观察域信息的映射结构，解决了数据包的元数据问题，又因为从网络地址查询降低为观察域内查询，大幅降低了查询空间的大小，解决了效率问题，使得云网环境内采集数据包可以关联到资源系统，关联到业务系统，在广泛的场景中；

31、2)采用agent采集功能和gateway分析中转功能的分离设计，采用agent和gateway在云内就近部署的设计，解决了计算开销和网络开销矛盾，可以有效平衡计算开销和网络开销，从而各种负载情况的云网中被广泛使用。

32、本发明的其他有益效果，将在具体实施方式中通过具体技术特征和技术方案的介绍来阐述，本领域技术人员通过这些技术特征和技术方案的介绍，应能理解所述技术特征和技术方案带来的有益技术效果。